Problem beim holen einer PHP-Seite via HttpClient

Status
Nicht offen für weitere Antworten.

DocSnyder

Mitglied
Hallo,

ich möchte per Java den Inhalt einer Webseite abrufen. Diese ist eine php-Seite. Mein Problem ist, dass ich nicht das erzeugte HTML bekomme, sondern nur die ursprüngliche Seite. Leider weiß ich keine Lösung.
Die URL lautet:

http://www.zur48.de/site/content.php

der code sieht bisher so aus:

Code:
String strURL = "http://www.zur48.de/site/content.php";
HttpClient httpclient = new HttpClient();
GetMethod httpget = new GetMethod(strURL);
httpclient.executeMethod(httpget);
System.out.println(httpget.getResponseBodyAsString());

ich erhalte wie gesagt nicht die erwartete Seite mit allen erzeugten Tables für die Navigation und die Produkte usw.
Was muß ich tun, dass das der php code auch ausgeführt wird?
Ich glaube auch dass es daran liegt, dass irgendwie Cookies nicht akzeptiert werden.

Wär schön wenn mir jemand helfen könnte, bin relativ neu auf diesem Gebiet.

Micha
 

AlArenal

Top Contributor
Das Problem ist vielmehr, das von uns dir keiner sagen kann, was du mit "ursprüngliche Seite" meinst und das hier auch keiner weiß wie das hinterlegte PHP Skript funktioniert und welche Rahmenbedingunen es benötigt.

Klar ist nur, wenn ich mit einem jungfräulichen Browser auf o.g. URL gehe, bekomme ich auch nüschts gehaltvolles angezeigt. Das wird denm HttpClient nicht anders gehen (Warum auch?).
 

Leroy42

Top Contributor
AlArenal hat gesagt.:
Klar ist nur, wenn ich mit einem jungfräulichen Browser auf o.g. URL gehe, bekomme ich auch nüschts gehaltvolles angezeigt.

Was verstehst du unter jungfräulichen Browser?

Meines Erachtens ist doch der Server dafür verantwortlich,
bei Aufruf einer URL mit php-Endung das PHP-Programm
anzuwerfen und dessen Ausgabe zurückzusenden.

Oder meinst du, daß der PHP-Aufruf noch Parameter benötigt? ???:L
 

DocSnyder

Mitglied
also als antwort erhalte ich folgendes :

Code:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">

<html>
<head>
<title>Zur48.de - Die Welt der Computer</title>
<link rel="shortcut icon" href="favicon.ico" type="image/x-icon">
<meta http-equiv="content-type" content="text/html; charset=ISO-8859-1">
<meta http-equiv="expires" content="0">
<meta name="expires" content="never">
<meta http-equiv='content-language' content='de'>
<meta name="author" content="Thomas Hohm, diablo-agentur">
<meta name="publisher" content="www.diablo-agentur.de">
<meta name="copyright" content="www.diablo-agentur.de">
<meta name="date" content="2005-10-01">
<meta name="audience" content="alle">
<meta name="robots" content="index,follow">
<meta name="revisit-after" content="30 days">
<meta name="title" content="Zur48.de - Die Welt der Computer">
<meta name='description' content='Zur48.de - Die Welt der Computer'>
<meta http-equiv='imagetoolbar' content='no'>

<script language="JavaScript" src="scripts/global.js" type="text/javascript"></script>
<script language="JavaScript" src="scripts/overlib.js" type="text/javascript"></script>
<link href="styles/main.css" rel="stylesheet" type="text/css">

<script>
	var ol_fgcolor   = "#f0f0f0";
	var ol_bgcolor   = "#cc0000";
	var ol_textcolor = "#303030";
	var ol_delay     = 400;
	var ol_hauto     = 1;
	var ol_vauto     = 1;
</script>

<script>
<!--
	function swapimage(dir, name, file) {
		file = (typeof(file) == "undefined") ? name : file;
		document[name].src = (document[name].src.indexOf(file + '.png') != -1) ? 'img/' + dir + file + '_mo.png' : 'img/' + dir + file + '.png';
	}
//-->
</script>

</head>

<body onLoad="javascript:statuszeile()">

<table width="100%" border="0" cellspacing="0" cellpadding="0">
  <tr> 
		<td width="10">[img]img/spacer.png[/img]</td>
		<td> 

<table width="100%" height="100%">
	<tr>
		<td align="left" valign="middle">
<SCRIPT LANGUAGE="JavaScript" TYPE="text/javascript">
<!--
  if (navigator.cookieEnabled) cookie = "[b]Für diesen Bereich sind momentan keine Informationen verfügbar.[/b]
Bitte schaut einfach später noch einmal vorbei.";
  else cookie = "[b]Du hast die Annahme von COOKIEs deaktiviert.[/b]
Um die Inhalte der Seite darstellen zu können, muss die Annahme von COOKIEs für diese Webseite aktiviert sein.";
  document.write(cookie)
//-->
</SCRIPT>
		</td>
	</tr>
</table>
	  
		</td>
		<td width="20" align="right" valign="top">[img]img/spacer.png[/img]</td>
  </tr>
</table>

</body>
</html>

hier fehlt also der komplette inhalt dieser seite, also so, wie ich sie normalerweise im browser sehe, wenn ich cookies aktiviert habe. wenn ich die cookies deaktiviere, erhalte ich oben gezeigtes ergebnis. ich suche eine lösung, damit ich auf die einzelnen elemente dieser seite zugreifen kann (mittels XPATH).
 

Leroy42

Top Contributor
Gib doch mal den vollständigen URL zu dieser Seite,
damit wir ihn im Browser öffnen können.
 

AlArenal

Top Contributor
Leroy42 hat gesagt.:
AlArenal hat gesagt.:
Klar ist nur, wenn ich mit einem jungfräulichen Browser auf o.g. URL gehe, bekomme ich auch nüschts gehaltvolles angezeigt.

Was verstehst du unter jungfräulichen Browser?

Einen der auf der entsprechenden Website nicht schon irgendwie angemeldet ist oder raffetückischerweise sonstige Infos der Site in Cookies & Co. enthält.

Oder meinst du, daß der PHP-Aufruf noch Parameter benötigt? ???:L

Meine ich.
 

Leroy42

Top Contributor
Ja und bei dessen Aufruf bekomme ich genau
Server hat gesagt.:
Für diesen Bereich sind momentan keine Informationen verfügbar.
Bitte schaut einfach später noch einmal vorbei.

Genau das, was DocSnyder gepostet hat.

Vermutung: Er hat in seinem Browser Cookies enabled, teilt dies dem
Server in Java aber nicht mit.
 
S

stev.glasow

Gast
Da fehlen sicher irgendwelche Cookies oder(und) Parameter die per POST übergeben wurden. Einfach die URL aus der Adressleiste kopieren und mit java aufurufen wird da nicht ausreichen. Sie halt AlArenal-Post. Bekomme beim aufruf von http://www.zur48.de/site/content.php mit Opera(Cookies enabled) auch nur die Meldung
Für diesen Bereich sind momentan keine Informationen verfügbar.
Bitte schaut einfach später noch einmal vorbei.

[edit]
Er hat in seinem Browser Cookies enabled, teilt dies dem
Server in Java aber nicht mit.
hab ehr die Vermutung das bei seinem Browser vorher schon Cookies durch einen anderen Aufruf gesetzt wurden und diese jetzt bei uns und seinem javaprogi fehlen. Denn den HTML-Code den er gepostet hat liefert mit Opera(Cookies enabled) auch.
 

AlArenal

Top Contributor
@DocSnyder:

Ich nehme überhaupt mal an, dass du dein Vorhaben knicken kannst, nämlich aufgrund der rechtlichen Situation. Du kannst nicht einfach ungefragt Content fremder Seiten bei dir einbauen, zum einen wegen des Urheber-/Verwertungsrechts und zum anderen weil dem Betreiber durch Traffic-Klau u.U. Kosten entstehen.

Hättest du eine solche Erlaubnis, müsstest du wohl kaum auf solche Hackentricks zurückgreifen...
 

DocSnyder

Mitglied
die php seite benötigt zwar parameter, aber wenn man sie nicht "füttert", dann wird die startseite angezeigt. mir gehts darum, zugriff auf die [*] tags der linken tabelle zu bekommen, dort wo die kategorien aufgelistet sind (unter "kategorie" halt).
 
S

stev.glasow

Gast
DocSnyder hat gesagt.:
die php seite benötigt zwar parameter, aber wenn man sie nicht "füttert", dann wird die startseite angezeigt.
Merke ich nix von, bekomme nur diese Meldung die auch dein Javaprogi bekommt.
 

DocSnyder

Mitglied
@ AlArenal : es geht nicht um content klau, sondern um datenintegration, welche teil einer studentischen arbeit ist, die website soll auch nur als beispiel dienen, da der hauptfokus auf wissenschaftlichen websites liegt, ich jedoch viele formen der datenhaltung berücksichtigen muß, und die genannte seite eben eine form darstellt (also content darstellung in form von dynamischen seiten und nicht innerhalb statischer dokumente)...
traffic wird auch nicht viel verursacht, da der parsevorgang meist nur einmalig stattfindet...
 
S

stev.glasow

Gast
ja, ich meine auch im Browser.
zum 3ten mal: wenn ich die url in meinen Browser eingebe (Opera(son richtiger Browser), cookies enabled) dann bekommt opera das gleiche geliefert wie dein java proggi.
 
S

stev.glasow

Gast
Die main.php wird nen cookie gesetzt haben, den die content.php dann auswertet.
Aber irgendwie versuch ich das schon die ganze Zeit zu sagen ???:L
 

DocSnyder

Mitglied
achso..da liegt der hase begraben ;-) naja..muß ich mal noch ne weile basteln...bis ich das hinbekomme...

danke euch
 
Status
Nicht offen für weitere Antworten.
Ähnliche Java Themen
  Titel Forum Antworten Datum
A Problem beim Senden von Client zu Server Netzwerkprogrammierung 10
R Problem beim Programmieren eines Chatprogramms Netzwerkprogrammierung 5
S Umstellung AS400 auf Postgre - Problem beim Arbeiten mit Metadaten Netzwerkprogrammierung 2
G Socket NIO2 Problem mit AsynchronousSocketChannel beim Schließen Netzwerkprogrammierung 3
D RMI Problem beim shutdown von verteilter CORBA-Anwendung Netzwerkprogrammierung 6
M Problem beim Datenempfang Netzwerkprogrammierung 2
N NIO Problem beim speziellen Behandeln von einzelnen Benutzern Netzwerkprogrammierung 13
E HTTP Problem beim Auslesen von Websiten Netzwerkprogrammierung 6
Y Problem mit ObjectInputStream beim lesen vom Socket Netzwerkprogrammierung 10
P HTTP Problem beim Download von einer Datei Netzwerkprogrammierung 4
I Problem beim empfangen von Daten (Zahlen) Netzwerkprogrammierung 7
Rontu Problem beim Übertragen einer Datei Netzwerkprogrammierung 9
J Problem beim Senden von File Netzwerkprogrammierung 4
V Problem beim Senden von Dateien Netzwerkprogrammierung 4
P problem beim schließen eines Streams Netzwerkprogrammierung 6
C Session Problem beim Zugriff auf Webseiten Netzwerkprogrammierung 3
I Apache http-client: Problem beim Proxyaufruf Netzwerkprogrammierung 2
C RMI: Problem beim Aufruf einer Methode. Falsch gecastet? Netzwerkprogrammierung 8
J Problem beim versenden von eigenen Objekten über RMI Netzwerkprogrammierung 2
R Problem beim Senden von Emails (Javamail) Netzwerkprogrammierung 2
M problem beim schicken von XML-DAtenpacketen via TCP Netzwerkprogrammierung 3
D Performance Problem beim File senden, empfangen Netzwerkprogrammierung 4
I Socket Problem mit den WebSocket Antworten der Discord API Netzwerkprogrammierung 0
K Java Websocketserver Problem | Android to Pi Netzwerkprogrammierung 1
C RMI Produzent-Verbraucher-Problem - Code review Netzwerkprogrammierung 12
B Socket Bilder verschicken via Sockets. Heap-Problem. Netzwerkprogrammierung 2
S Problem bei dem Bluetoothverbindungsaufbau Netzwerkprogrammierung 2
G Server-Client IO Problem Netzwerkprogrammierung 6
M Netty - TCP Problem Netzwerkprogrammierung 4
L Socket Problem mit Server Netzwerkprogrammierung 1
J Chat Server starten über GUI problem Netzwerkprogrammierung 4
M Problem bei Socket (MultiplayerSpiel) Netzwerkprogrammierung 4
M Socket CDI, Websocket reference Problem ! Netzwerkprogrammierung 2
Shams Problem mit Eventbus in Verbindung mit Server Netzwerkprogrammierung 0
G apache httpClient Problem. Netzwerkprogrammierung 5
H Problem mit ObjectStreams Netzwerkprogrammierung 3
D Socket BufferedWriter/Reader Problem Netzwerkprogrammierung 1
Maxim6394 Problem mit Socks5 Implementierung Netzwerkprogrammierung 0
C Handle Connection Problem Netzwerkprogrammierung 3
E HttpUrlConnection Cookie Problem Netzwerkprogrammierung 0
X Problem mit vielen Bytes über Socket Netzwerkprogrammierung 23
O 4Gewinnt Multiplayer - Netzwerk Problem (TCP) Netzwerkprogrammierung 1
A Socket Socket-Problem - Object wird nicht übertragen Netzwerkprogrammierung 3
E einfaches Problem: Session-Handling bei Servlets Netzwerkprogrammierung 5
G Problem mit einem FileWatcher Netzwerkprogrammierung 7
T Socket Server starten Thread Problem Netzwerkprogrammierung 12
B Client/Server Connection Problem Netzwerkprogrammierung 2
G Problem mit STATIC-Verständnis Netzwerkprogrammierung 8
J Facelets Include Rendered Problem Netzwerkprogrammierung 2
J Socket Problem mit C++/Java Netzwerkprogrammierung 20
P Problem mit Datagram-Sockets Netzwerkprogrammierung 2
G Cookie Verwaltungs Problem nach Login auf InetSeite (Wo utma-Cookie?) Netzwerkprogrammierung 18
C Socket Problem mit ObjectInput/OutputSream Netzwerkprogrammierung 7
B Socket Problem mit Netzwerkchat Netzwerkprogrammierung 21
Maxim6394 ipv6 Problem Netzwerkprogrammierung 2
Maxim6394 Proxyserver Performance Problem Netzwerkprogrammierung 11
M Problem Client - Server Sockets: .ready() wird nie true! Netzwerkprogrammierung 6
C Socket Problem mit ObjectInput/OutputSream Netzwerkprogrammierung 5
B RMI und Problem mit rmic-Tool Netzwerkprogrammierung 3
C FTP storeFileStream Problem Netzwerkprogrammierung 3
N Problem über http eine Datei zu senden Netzwerkprogrammierung 4
D JavaMail - Mailsabrufen Problem (imap) Netzwerkprogrammierung 12
J HTTP Übersetzung yahoo babelfish - Zeichensatz-Problem Netzwerkprogrammierung 6
D Apache CXF, JAX-WS Problem bei Arrays - einfacher Server Netzwerkprogrammierung 2
X Problem mit Server-Client-Kommunikation Netzwerkprogrammierung 14
M Problem mit Socket-Verbindung Netzwerkprogrammierung 2
D Thread problem Netzwerkprogrammierung 3
T Servlets JSP: Tomcat Problem Netzwerkprogrammierung 4
K Client - Server Problem Netzwerkprogrammierung 16
T RMI Problem Client-Server Netzwerkprogrammierung 2
P RMI Stub Problem Netzwerkprogrammierung 3
D Socket UDP Übertragungs Problem Netzwerkprogrammierung 7
I HTTP Post aus html in Java einlesen - Problem Netzwerkprogrammierung 2
I HTTP Post aus html in Java einlesen - Problem Netzwerkprogrammierung 6
D Problem mit ObjectInputStreams Netzwerkprogrammierung 10
D Socket Problem mit InputStreamReader Netzwerkprogrammierung 3
N CRC32 CheckSum Problem bei UDP Netzwerkprogrammierung 2
V Java Mail Api - IMAP Problem Netzwerkprogrammierung 6
P RMI Problem Netzwerkprogrammierung 4
I Problem bei Outputstreamerzeugung in anderer Klasse als Socket Netzwerkprogrammierung 5
S Socket Problem mit Objektübertragung Netzwerkprogrammierung 16
Shoox Reader / Writer Problem Netzwerkprogrammierung 2
S Problem mit 2 Serversockets unter Win XP Netzwerkprogrammierung 7
P Socket Problem mit Netzwerkverbindung über TCP Netzwerkprogrammierung 12
M RMI - Connection Problem Netzwerkprogrammierung 7
J Socket Client - Server Problem Netzwerkprogrammierung 4
M Socket Chat-Client-Problem Netzwerkprogrammierung 8
D Client Server Problem, Methode readline() löst SocketException "Connection reset" aus Netzwerkprogrammierung 8
T Problem bei Findung der richtigen Architektur Netzwerkprogrammierung 3
AlexSpritze Authentication Problem bei WebServices Netzwerkprogrammierung 4
J Socket Problem -Proxies Netzwerkprogrammierung 2
R HTTP Problem bei Authentifizierung über (Http)UrlConnection Netzwerkprogrammierung 2
F Konzept Problem Netzwerkprogrammierung 12
G NIO Sockets Architektur Problem Netzwerkprogrammierung 2
H Neues NIO problem nachricht an alle clients Netzwerkprogrammierung 3
J Client server problem Netzwerkprogrammierung 3
S Problem bzgl. Sockets / Server-Client-Struktur Netzwerkprogrammierung 3
W RMI Problem Netzwerkprogrammierung 4
M Problem mit Server Netzwerkprogrammierung 5
N Socket Java server c# client problem Netzwerkprogrammierung 7

Ähnliche Java Themen

Neue Themen


Oben