HTML-Inputbox ansteuern

[Tueftler]

Hallo zusammen,
hat jemand einen Tipp, wo ich Informationen zu folgendem Problem finde?

Mein Java-Programm soll (ohne Robot) in einer Website (mit dahinter liegender Serveranwendung)
eine HTML-Inputbox ansteuern
die Box mit einem String versorgen
die Request abschicken
die Website nach der Antwort des Servers auslesen
die Serverantwort ausfiltern

 

[arilou]

a) java.net.*, vielleicht bei java.net.Socket beginnen?
b) "HTML-Inputbox ansteuern" und "Box mit einem String versorgen" kannst du sein lassen, brauchst ja nur eine entsprechende POST- oder GET-Anfrage aufbauen.

 

[dzim]

Wenn es - und so klingt es irgendwie - über kurz oder lang komplexer werden soll, bleibt dir wohl nicht viel übrig, als dich mit Selenium vertraut zu machen. Damit steuert man eine Seite fern.
Wenn ich zu kompliziert denke, klingt aber die Idee des Vorposters ausreichend. Den Aufwand, den du betreiben möchtest, musst du selbst abschätzen.

 

[Tueftler]

Im Prinzip sicher richtig, ich krieg es aber einfach nicht hin.
Hier die Adresszeile, die im Browser funktioniert:

http://de.pons.com/übersetzung?q=geben&l=deel&in=&lf=de

Hier der Versuch mit Socket (in main):
[Java]
try {
Socket sock= new Socket("de.pons.com",80);
OutputStream out=sock.getOutputStream();
InputStream in=sock.getInputStream();
String s="GET /übersetzung?q=lassen&l=deel&in=&lf=de HTTP/1.0\r\n\r\n";
out.write(s.getBytes());
int len;
byte[] reciever= new byte[4096];
while((len = in.read(reciever))!=-1){
System.out.write(reciever,0,len);
}
in.close();
out.close();
sock.close();
} catch (UnknownHostException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
[/Java]
Ergebnis: Keine Exception aber in der Header-Information ein 400er Fehler (Bad Request) und Umleitung auf eine Error-Page. Die Variante mit HTTP/1.1 und erweitertem Get-String bringt auch nichts

Hier der Versuch mit URL:
[Java]
try {
URL u = new URL( "http://de.pons.com/übersetzung?" + s );
String r= new Scanner(u.openStream()).useDelimiter("\\Z").next();
System.out.println(r);
} catch (MalformedURLException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
[/Java]
Ergebnis: IOException:Server returned HTTP response code: 400
Auch ein Encoding auf UTF8 bringt nichts

Was macht der Browser mehr als ich?

 

[dzim]

Was genau anders gemacht wird: Keine Ahnung. Ich habe gerade mal einen Test mit OkHttp (alternativ ginge auch Apache HttpComponents) gemacht - was grundsätzlich meine präferierte Art des Zugriffs auf HTTP-Ressourcen ist:

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URI;
import java.net.URISyntaxException;
import java.net.URLConnection;
import java.util.Locale;

import com.squareup.okhttp.OkHttpClient;
import com.squareup.okhttp.Request;
import com.squareup.okhttp.Response;

public class HTTPTest {
	
	public static void main(String[] args) throws MalformedURLException, URISyntaxException, IOException {
		HTTPTest test = new HTTPTest();
		// test.doItURLConnection("lassen");
		test.doItOkHttp("lassen");
	}
	
	private final String url;
	
	public HTTPTest() {
		url = "http://de.pons.com/übersetzung?q=%sl=deel&in=&lf=de";
	}
	
	private void doItURLConnection(String term) throws URISyntaxException, MalformedURLException, IOException {
		URI uri = new URI(String.format(Locale.ENGLISH, url, term));
		URLConnection conn = uri.toURL().openConnection();
		conn.setRequestProperty("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
		conn.setRequestProperty("Accept-Encoding", "gzip, deflate, sdch");
		conn.setRequestProperty("Accept-Language", "de-DE,de;q=0.8,en-US;q=0.6,en;q=0.4");
		conn.setRequestProperty("Connection", "keep-alive");
		conn.setRequestProperty("Host", "de.pons.com");
		conn.setRequestProperty("Referer", "http://de.pons.com/");
		conn.setRequestProperty("User-Agent",
				"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36");
		conn.setRequestProperty("Cookie", "???"); // neccessary?
		
		String line = "";
		BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream()));
		while ((line = reader.readLine()) != null) {
			System.err.println(line);
		}
	}
	
	private void doItOkHttp(String term) throws URISyntaxException, IOException {
		URI uri = new URI(String.format(Locale.ENGLISH, url, term));
		OkHttpClient client = new OkHttpClient();
		Request.Builder requestBuilder = new Request.Builder();
		requestBuilder.url(uri.toURL()).addHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8")
				.addHeader("Accept-Encoding", "gzip, deflate, sdch").addHeader("Accept-Language", "de-DE,de;q=0.8,en-US;q=0.6,en;q=0.4")
				.addHeader("Connection", "keep-alive");
		requestBuilder.addHeader("Host", "de.pons.com").addHeader("Referer", "http://de.pons.com/")
				.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36")
				.addHeader("Cookie", "???"); // neccessary?
		Request request = requestBuilder.build();
		Response response = client.newCall(request).execute();
		System.err.println(response.body().string());
	}
}

Mit der URLConnection komme ich auch nicht weiter (ebenfalls HTTP 400).

Mit OkHttp bekomme ich immer wieder eine Wartungsseite. Im Browser geht es. Kann also sein, dass man noch etwas konfigurieren muss, bevor es wie im Browser funktioniert.

<!DOCTYPE html>
<html>
  <head>
    <meta charset="utf-8" />
    <title>PONS</title>
  </head>
  <body style="text-align: center; font-family:Arial Unicode MS,Arial,sans-serif; background-color: #03AF30; color: #FFFFFF;">
    <h1>PONS</h1>
    <div id="en">
      <span style="padding-left: 25px; background:url(data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABIAAAAMCAMAAABYzB2OAAAAAXNSR0IArs4c6QAAAQhQTFRFEiVdlBoIlCIXHjyVNUBqzCQMziQM0SUM0yUMlTQw1SUM1iUMPklv1yYM2SYMMkqd2ycM3ScN3icN3ycN4CcNxS4f4ygN5ykN6CkN7CoORFOJSFiR6DUlvUE9hE9e7Tcmu0tKUWKimVZZU2WoVWeq7kU9jWly71NOrWh78GFfnICC72xv8m5xiouUnoiKmYmz0oGF03+W2ISJ8IiM8YiM84mN9IqO7pKX1ZmdnabM4pecqaTG1Zuw9pec3p+k0aqu16m91K2wzLCz9qWq7Kmut7nF3LO34Le7+LK38bm+57zA8rq+6L7B68DD+b/E8MPH+szQ09bk39/f3N/t/Nnc+e/v/vP0////vyfvjgAAAAFiS0dEAIgFHUgAAADESURBVAjXY+DU02VhYGDQYmTUAlI8akxKDHLytuGWzMwBkpIBzPzWZvIBugwM+prqIcEqICEVB1XtUEugWmYVQ6BCkJCpjGegIjPQkICAAA9bD2dJSWNzF18frwAtBkZJKBAXExbg5eKQZIQLSYgJ8nGxs7EChUAaA/xsTcSErOyMLBztgRqBxgcHqOp4i/C5BxmIakgBjWewDDOTt1H2F+B2k3Z1klXQZ2DQBSqx5oc4ldky3FZejkGJSY0H4SEWXT1OABteHzZzp3f+AAAAAElFTkSuQmCC) 0px 6px no-repeat;">
        Sorry, due to a technical problem or maintenance task this page is currently not available. Please try again in a few minutes.
      </span>
    </div>
    <!-- ........... -->
  </body>
</html>