Google-Suche ist nicht auslesbar?!

Greg50007

Aktives Mitglied
Hallo, ich weiß es gibt schon einige Einträge hier und auch in anderen Foren zu diesem Thema...
Allerdings hab ich da irgendwie ein Problem.

Java:
import java.net.*;
import java.io.*;

public class Test {
    public static void main(String[] args) {

        String url2 = "https://www.google.de/search?q=javaforum"; //Meine URL die ich erst öffne und dann auslesen will!

        String myURL = url2;
        try {
            URL url = new URL(myURL);
            String nullFragment = null;
            URI uri = new URI(url.getProtocol(), url.getHost(), url.getPath(), url.getQuery(), nullFragment);
            WebSuche.openWebpage(uri);//Die Suchseite wird geöffnet
        } catch (MalformedURLException e1) {
            System.out.println("URL " + myURL + " is a malformed URL");
        } catch (URISyntaxException e1) {
            System.out.println("URI " + myURL + " is a malformed URL");
        } catch (@SuppressWarnings("hiding") IOException e) {
            System.out.println("Fehler aufgetreten");
            e.printStackTrace();
        }
       
        //öffnen klappt also...
       
       
        try {
            URL url = new URL(myURL);
            Reader is = new InputStreamReader(url.openStream()); //Nun will ich die Seite auslesen...
            BufferedReader in = new BufferedReader(is);
            for (String s; (s = in.readLine()) != null;) {
                System.out.println(s);//Alles was passiert ist eine Fehlermeldung...
            }

            in.close();
        } catch (MalformedURLException e) {
            System.out.println("MalformedURLException: " + e);
            System.out.println("t");
        } catch (IOException e) {
            System.out.println("IOException: " + e);
            System.out.println("s");
        }

    }
}

Also, das öffnen der Seite klappt aber beim Auslesen kommt nur:
"IOException: java.io.IOException: Server returned HTTP response code: 403 for URL: https://www.google.de/search?q=javaforum"

Am Auslesen direkt kann es nicht liegen da ich z.b wikipedia auch auslesen kann...

Weiß wer eine lösung? oder kann die google-such Seite nicht auslesen?
Mfg. Greg
 

Greg50007

Aktives Mitglied
Danke erstmal für die schnelle antwort... aber ich glaub das hilft mir immer noch nicht ganz...
Mein plan war es eigentlich ein Suchbegriff zu suchen und sofern er falsch geschrieben ist die google korrektion bzw. die meißt richtig geschirebenen suchergebnisse zu übernehmen...

die ausgabe die ich jetzt bekomme ist dafür scheinbar nicht geeingnet... eine idee wie ich bestimmte wörter auf ihre Rechtschreibung prüfen kann? (Mein ziel sollen filmtitel sein... also mit groß und kleinschreibung und komma setztung o_O)

mfg. greg
 

Robat

Top Contributor
Naja das was du dort zurückbekommst kannst du schon verwerten.
Nicht sicher ob das klappt, aber: Schau dir mal XPATH und HTMLCleaner an.. damit solltest du den Output (was ja nichts anders als der HTML-Code ist) durchsuchen können nach Worten wie "Ergebnisse für " (was ja mWn da steht wenn man sich vertippt hat)
 

Greg50007

Aktives Mitglied
mhh also erneut danke fü die schnelle antwort... aber irgendwie komme ich damit nicht so zurecht... da ist mehr rot als schwarz und importieren kann ich da auch nicht viel :/ du hättest nicht zufällig zeit um mir ein code beispiel zu schicken?
 

Greg50007

Aktives Mitglied
Habt ihr noch ne idee wie ich das filtern kann?
Bis jetzt hab ich das immer mit split () gemacht... aber das sind laut word über 38000 wörter... gibt es da ne Art filter mit der ich das was ich will rausfiltern kann?
 

JStein52

Top Contributor
Ich vermute mal du suchst ja ganz bestimmte Muster im Text. Ich würde deshalb mit regular expressions den Text durchsuchen ...
 

Robat

Top Contributor
Wie oben schon mal angedeutet.. du willst die Korrekturhinweise von Google filtern. Gib doch einfach mal bei Google etwas mit Typo ein dann siehst du welchen Text Google ausgibt.
Danach kannst du dann suchen.
 

Greg50007

Aktives Mitglied
Mhh...
Einfacher wäre aber doch glaub ich eine art filter der nicht auf groß und Kleinschreibung achtet und mir alle Übereinstimmungen ausgibt, da die Google Suchergebnisse ja immer anders angeordnet sind
 

Greg50007

Aktives Mitglied
Also ich habe die website daten jetzt bis auf 80 zeichen reduziert in denen sich das befindet was ich will...
Allerdings weiß ich nicht wie ich den teil da raus bekomme... schließlich ist die groß und kleinschreibung ja anders oder etwas falsch geschrieben... ich bräuchte also eine art vergleich oder? also wenn etwas darauß meinem gesuchten ähnelt soll er das übernehmen. habt ihr dazu ne idee?
lg. greg
 

Greg50007

Aktives Mitglied
Naja, derzeit splitte ich nach dem Wort Amazon was natürlich auch nicht optimal ist, da ja nicht jeder film auf amazon verfügbar ist... wenn das aber der Fall ist sieht das etwa so aus:

"Bliblablubb mein Suchwort bliblablubb auf"

Aber optimal wäre ja immer noch ein Filter der z.b diese boxen bei der Google-Suche und dann das entsprechende wort übernimmt.
(Sucht mal einen film auf google... rechts die Info box meine ich)
 

Greg50007

Aktives Mitglied
Alles geschafft. Es klappt endlich und ich hab noch einiges dran rumgespielt.
Eine frage hab ich aber noch:

Kennt wer eine API für die Wikipedia infoboxen?

Ich hoffe auch hier etwas von euch zu hören.
MfG greg
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
F Über Java Google Suche nutzen Allgemeine Java-Themen 11
doopexxx JAVA Google Webcrawler Allgemeine Java-Themen 1
E Key für TOTP Algorythmus(Google Authentificator) Allgemeine Java-Themen 0
N Google Authenticator Algorithmus (SHA1) Allgemeine Java-Themen 1
L Compiler-Fehler Google Guice Module zur Laufzeit zusammenstellen und binden Allgemeine Java-Themen 4
T Google Links in einer Liste Allgemeine Java-Themen 4
L Google Guice Field Injection returns null Allgemeine Java-Themen 2
I Java google Sandbox benutzen Allgemeine Java-Themen 1
X Lotto - google caliper Benchmark Allgemeine Java-Themen 4
T Google Distance Matrix API Hello World/ Client Secret Allgemeine Java-Themen 3
T Google Maps API nächste Person Allgemeine Java-Themen 5
T Google OAuth 2.0 aber wie Allgemeine Java-Themen 16
M Google App Engine macht Probleme Allgemeine Java-Themen 4
M Google Guice (Assisted Injects) - Buggy oder mach ich's falsch? Allgemeine Java-Themen 5
F Google Guice + Generics + Vererbung Allgemeine Java-Themen 5
yvesdaeschle Google Spreadsheet Allgemeine Java-Themen 6
M google plus java api - Anfänger sucht Hilfe Allgemeine Java-Themen 7
M GWT Project nur in Google Chrome sichtbar Allgemeine Java-Themen 7
L Java und Javascript um Distanz über Google Maps zu berchnen Allgemeine Java-Themen 10
S Frage: Google Maps "Map" in Java Allgemeine Java-Themen 3
M Google API Allgemeine Java-Themen 6
algorismi Google maps in Java Swing Allgemeine Java-Themen 2
P Google Abfrage auslesen Allgemeine Java-Themen 2
DamienX Google Guice AOP + Logging Allgemeine Java-Themen 3
FoolMoon API für Google Suchergebnisse? Allgemeine Java-Themen 23
Pfirsich Java + Begriff = Pos + Domain (Google API) !!! Allgemeine Java-Themen 14
M Google Maps mit Java Allgemeine Java-Themen 5
B Regex -> Bspw. _NUR_ GOOGLE.de Allgemeine Java-Themen 7
R Google Keyword Position Allgemeine Java-Themen 11
R Wie Google & Co mit Java nutzen? Allgemeine Java-Themen 16
J Bitte um Kurzinfo bez. JMF (ja, war bei Forumssuche/google) Allgemeine Java-Themen 2
Y Google Map + JSP Tag Libary Allgemeine Java-Themen 2
N google maps api mit javaserver faces Allgemeine Java-Themen 5
C Server-Zahl von google.com Allgemeine Java-Themen 11
M Suche nach String mit unbekannten characters Allgemeine Java-Themen 53
M Binäre Suche Allgemeine Java-Themen 6
M geometrische Suche Allgemeine Java-Themen 8
S Programm schreiben, das mir aufgrund von Schlagwörtern, die ich im Internet suche, relevante Themen sofort anzeigt. Allgemeine Java-Themen 1
I HTML / XHTML Seite nach Excel exportieren. Suche Lib Allgemeine Java-Themen 12
W Suche Ursache für NPE - woher kommt sie? (Hilfe beim Debugging) Allgemeine Java-Themen 19
W Collections Suche Collection, um Strings mit Indizees versehen Allgemeine Java-Themen 47
O Suche Scripter für alt:V Project! Allgemeine Java-Themen 0
D Suche Quellcode! Allgemeine Java-Themen 8
O Suche Unterstützung für ein OpenSource-Projekt (grafischer Editor) Allgemeine Java-Themen 13
B Bei Email: FW / AW... - Hilfe bei String suche Allgemeine Java-Themen 21
J Suche Alternative zu Jasper Reports Allgemeine Java-Themen 4
W Collections Suche etwas Sorted-List-Artiges...hat jemand eine Idee? Allgemeine Java-Themen 13
M Suche Alternative zu JFreeChart Allgemeine Java-Themen 11
S Warmup für Lineare-Suche mit Zeitmessung Allgemeine Java-Themen 2
K OOP Suche Hilfe + Erklärung für eine Hausaufgabe Allgemeine Java-Themen 1
B Suche nach einem Testprogramm für meine BA Allgemeine Java-Themen 0
D Objekt-Suche mit mehreren optionalen Parametern Allgemeine Java-Themen 6
A NetBeans Suche Programmierer für eine Belegarbeit Allgemeine Java-Themen 11
O Suche größeres Beispiel für WebserverAnwendung mit Java Allgemeine Java-Themen 2
M Suche aktuelle Apache Poi Bibliothek zum Einbinden in mein Programm Allgemeine Java-Themen 2
L Suche nach CalDav Server API Allgemeine Java-Themen 0
HarleyDavidson Best Practice Suche "Container" für Modulapplikationen Allgemeine Java-Themen 0
S Suche Konzept: Korrektheit des Aufrufers feststellen Allgemeine Java-Themen 7
KaffeeFan Methoden Suche Methode um Programm kurz warten zu lassen Allgemeine Java-Themen 22
B Suche geeignete Datenstruktur Allgemeine Java-Themen 5
L Erste Schritte Suche Java Wiki System? Allgemeine Java-Themen 5
L Suche Geräte für Java SE Embedded Allgemeine Java-Themen 0
S Rekursive Suche in einem Netz Allgemeine Java-Themen 5
A Suche Android Programmierer Allgemeine Java-Themen 0
W Suche Framework zur Prüfung von IPv4 und IPv6 Allgemeine Java-Themen 2
A Java - Suche nach Datensatz mit DateChooser Allgemeine Java-Themen 0
S Pattern.Match Suche: For Schleife einbinden und in Liste schreiben Allgemeine Java-Themen 3
M Suche Framework/API für Monitoring-Anwendung Allgemeine Java-Themen 3
F Suche kostenlose GUI für Eclipse Allgemeine Java-Themen 10
H Suche mit Wildcards und boolschen Operatoren Allgemeine Java-Themen 4
B Suche passende Datenstruktur für 2 Einträge Allgemeine Java-Themen 19
A Binäre Suche im Array mit StackOverflowError Allgemeine Java-Themen 3
T Verkettete Suche Allgemeine Java-Themen 6
S RxTx - langsame Port suche Allgemeine Java-Themen 3
D Suche Matrix Libraries Allgemeine Java-Themen 11
S Suche Dependency Injection Container Allgemeine Java-Themen 6
J Suche: Tool zum Auffinden gleichnamiger Klassen (Name und Package gleich) in unteschiedlichen JARs Allgemeine Java-Themen 5
BinaryLogic Input/Output Suche Wörterbuch-Datei Einzahl/Mehrzahl Allgemeine Java-Themen 2
A Suche Algorithmus zum Erstellen eines planaren Graphen Allgemeine Java-Themen 5
D Suche Librarys ähnlich datatables.net + Login Allgemeine Java-Themen 3
Gossi Threads Suche ein (einfaches) Beispiel Allgemeine Java-Themen 5
P Erste Schritte Suche in ArrayList mit Maps Allgemeine Java-Themen 4
F Suche Performanceoptimierung bei Stringsortierung Allgemeine Java-Themen 51
B Suche Datenquelle für lizenz-informationen Allgemeine Java-Themen 5
J Lucene suche in Json (CouchDB) Allgemeine Java-Themen 2
X Suche Softwareimplementierung von Cryptographischen Algorithmen Allgemeine Java-Themen 3
S Suche Tipps für Einstieg in JavaCC Allgemeine Java-Themen 2
R Suche in logfiles mit Lucene / Solr Allgemeine Java-Themen 2
P Suche Datenstruktur Allgemeine Java-Themen 2
M Suche Java-Projekt zum Thema Elektrotechnik Allgemeine Java-Themen 6
F Suche Begriff Allgemeine Java-Themen 2
hdi Suche Icon-Sammlung Allgemeine Java-Themen 7
G Suche "richtiges" Framework/Library Allgemeine Java-Themen 14
slawaweis Suche Klassen für Event Managment und Time Allgemeine Java-Themen 2
P Probleme mit wikipedia quellcode zur binären Suche Allgemeine Java-Themen 6
C Suche Permutationsalgo Allgemeine Java-Themen 6
E Suche nach Foto-Dummy Allgemeine Java-Themen 8
B Suche Paket zum auslesen von Metadaten von Bildern. Allgemeine Java-Themen 4
N suche globale Tastenabfrage Allgemeine Java-Themen 6
P SUCHE: gute Geo Library (freeware) Allgemeine Java-Themen 2

Ähnliche Java Themen

Neue Themen


Oben