Text aus HTML Datei in TXT Datei

[Sascha86]

Hallo alle zusammen!!

Habe folgendes Problem, ich will aus einer HTML Datei die nur aus Text besteht einen gewissen Abschnitt aus dieser HTML Datei ausschneiden und in eine TXT einfügen. Wie ist das am besten in Java realisieren??

 

[faetzminator]

Mit Regex. Siehe da Pattern (Java Platform SE 6) und Matcher (Java Platform SE 6).

 

[Michael...]

es gibt da verschiedene Möglichkeite RegEx suchen per indexOf und per substring den benötigten Teil ausschneiden. Wodurch ist denn dieser Abschnitt definiert?

 

[Sascha86]

diese HTML besteht NUR aus Tables.. und habs ja schon geschafft diese HTML datei als TXT umzuconvertieren.. aber diesen "gewissen" Abschnitt den ich aus dieser TXT raus zuschneiden und in eine neue TXT zu schreiben ist das Problem...

 

[Michael...]

Eine html ist eine Textdatei, da brauch man nix konvertieren. Die Frage ist doch vielmehr woran erkennt man den Abschnitt den den man extrahieren will?

 

[Sascha86]

um genau zu sein ist das eine HTML vom SIW wo alle Informationen des PCs stehen. Und ich brauch da nur die Rubrik "installed Programes" und da stehen ALLE installieren Programme und die HTML besteht NUR aus Tables

 

[Michael...]

Du musst schon ein bisschen präziser werden wie schaut den der Abschnitt aus und was aus dem Abschnitt soll rausgeschrieben werden? Man muss ja schliesslich wissen nach welchem Text man suchen muss.
Aber wie bereits erwähnt geht das prinzipiell mit RegEx oder indexOf und substring

 

[Sascha86]

Hier ist der Abschnitt den ich aus der HTML Datei ausgeschnitten haben will aber NUR die Programm Namen

<a id="Installed_Programs"></a>

<table WIDTH="100%" BORDER="0" CELLSPACING="0" ALIGN="CENTER">

<CAPTION ALIGN="TOP"><FONT size="5">Installed Programs</FONT></CAPTION>

<tr><td><a href="#TOC">Top</a></td></tr>

<TR ALIGN="LEFT" BGCOLOR="#00FF00">

<TH>Program</TH>
<TH>Publisher</TH>
<TH>Version</TH>
<TH>Date</TH>

<TH>Key</TH>
</TR>

<TR BGCOLOR="#F0F0F0">

<TD>32 Bit HP BiDi Channel Components Installer</TD>
<TD>Hewlett-Packard</TD>
<TD>1.1.0.2</TD>
<TD>2010-03-26</TD>
<TD>{9DE3F260-B88E-42CE-90E7-73C78C37D95E}</TD>
</TR>


<TR>

<TD>Adobe Flash Player 10 ActiveX</TD>
<TD>Adobe Systems Incorporated</TD>
<TD>10.0.32.18</TD>
<TD>&nbsp;</TD>
<TD>Adobe Flash Player ActiveX</TD>
</TR>

<TR BGCOLOR="#F0F0F0">

<TD>Adobe Flash Player 10 Plugin</TD>

<TD>Adobe Systems Incorporated</TD>
<TD>10.0.45.2</TD>
<TD>&nbsp;</TD>
<TD>Adobe Flash Player Plugin</TD>
</TR>

<TR>

<TD>Adobe Reader 9.3.1 - Deutsch</TD>
<TD>Adobe Systems Incorporated</TD>
<TD>9.3.1</TD>

<TD>2010-03-26</TD>
<TD>{AC76BA86-7AD7-1031-7B44-A93000000001}</TD>
</TR>

<TR BGCOLOR="#F0F0F0">

<TD>Apple Software Update</TD>
<TD>Apple Inc.</TD>
<TD>2.1.1.116</TD>
<TD>2009-12-18</TD>
<TD>{6956856F-B6B3-4BE0-BA0B-8F495BE32033}</TD>

</TR>

<TR>

<TD>ArcSoft PhotoStudio 5.5</TD>
<TD>ArcSoft</TD>
<TD>&nbsp;</TD>
<TD>&nbsp;</TD>
<TD>{85309D89-7BE9-4094-BB17-24999C6118FC}</TD>
</TR>


wollt jetzt nicht den kompletten Block reinsetzen

 

[Thief]

Ich weiss jetzt nicht ob das der beste Ansatz ist, aber es gibt nen GUI-losen Browser HTML-Unit.
Ich für meinen Geschmack mag den sehr.

Wenn deine HTML-Datei immer gleich aufgebaut ist, also die Tabelle die du suchst immer die x-te Tabelle von oben ist, kannst du mit HTML-Unit die HTML-Datei einlesen, dir die x-te Tabelle schnappen und dann

a) entweder parsen
b) mit .asText() den sichtbaren Teil ausgeben
c) mit .asXml() den Html-Code ausgeben.

 

[Sascha86]

und wie benutzt man den?? Also... ist das ein Browser an sich oder sind da nur Docs drin?

 

[Thief]

In etwa so (mach das jetzt aus dem Kopf, also keine Garantie das es auch lauffähig ist). Aber es
verdeutlicht wie man ihn verwendet.

Webseite ist übrigens: HtmlUnit - Welcome to HtmlUnit

WebClient webClient = new WebClient();
HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net");
DomNodeList<HtmlElement> 	tables = page.getElementsByTagName("table")
HtmlElement myTable = tables.get(3);

String source = myTable.asXml();
String test = myTable.asText();

edit:
Hab eben gesehen dass du oben die Tabelle gepostet hast.
So wie ich beschrieben habe kannst du natürlich alle TDs der Tabelle durchgehen, bzw
dir jeweils die erste TD in einem TR (was ja dein Programmname ist) zurückgeben lassen (als
Source oder als Text).

Oder du parst den erhaltenen Text nach einem Muster wie es zu deiner Lösung führt.

 

[Java?]

Hallo,
ich habe ein ähnliches Problem, nur müsste ich den bestimmten Text nicht aus einer HTML Datei, sondern aus sehr vielen HTML Dateien kopieren und als txt speichern. Die HTML-Dateien sind gleich aufgebaut, d.h. die Zwischenüberschriften sind immer gleich, nur der Text zwischen den Überschriften ist unterschiedlich. Bisher musste ich die HTML-Dokumente immer einzeln öffnen, zu der richtigen Überschrift scrollen und dann den Text danach kopieren. Da die Dokument sehr groß sind, dauert alleine das öffnen immer ewig. Daher meine Frage:
Ist es irgendwie möglich, dass diese Textblöcke automatisch in ein einzelnes txt-Dokument gespeichert werden. Also irgendwie, Öffne HTML-Dokument X, suche Überschrift 1, kopiere den gesamten folgenden Text bis Überschrift 2 und füge ihn in das txt-Dokument ein, wiederhole im Anschluss das ganze mit Dokument Y, dann mit Dokumt Z usw. Dabei müsste dann zu den eingefügten Textblöcke noch der Dokumentname dabei stehen, damit ich den Text zuordnen kann. Die HTML-Dokumente sind alle mit eigenem Namen lokal in eigenen Ordnern gespeichert.
Vielen Dank

 

[Noctarius]

Datei per Reader öffnen, Überschrift per Regex suchen, in Textdatei schreiben, Datei schließen, nächste Datei öffnen ..

 

[javv]

Oder als Zwischenschritt auch erst parsen mit irgendeinem html parser, der auch nicht korrektes HTML kann.

 

[Java?]

Super vielen Dank schonmal.
Da es aber insg. über 1200 Dateien mit eigenem Dateinamen in über 400 Ordnern sind, gibt es da auch eine möglichkeit, das zu automatisieren? Also dass ich die Dateien nicht selber einzeln öffnen muss, sondern dass dies für mich gemacht wird. Super wäre es, wenn die Dateinamen automatisch ausgelesen werden, in diesen dateien dann die Überschrift gesucht wird und alle kopierten textblöcke in ein einzelnes Textdokument geschrieben werden. So dass, wenn später neue HTML-Dokumente in die Ordner kommen, dieses Textdokument automatisch aktualisiert, also ergänzt wird?

 

[Noctarius]

Musst halt alle Verzeichnisse durchgehen und schauen ob entsprechende Dateien da sind.

 

[javv]

Schreib mal eine genau Spezifikation dessen, was vorliegt und was du haben willst. (Verzeichnisstruktur, typischer Dateiinhalt, gewünschte Ausgabe.)

google: java io tutorial files

 

[Java?]

Hi,
zur Spezifikation, es geht darum, aus Geschäftsberichten von Unternehmen aus der ganzen Welt eine gewisse Textpassage auszuwerten. Da dieser Textblock bei jedem Unternehmen im Bericht immer an der gleichen Stelle steht, habe ich gehofft, dass man diesen Textblock (definiert durch die bei jedem Unternehmen gleichen Überschriften) automatisch auslesen und in ein einzelnes Dokument kopieren kann. Dann müsste ich am Ende nur ein Dokument aufmachen und hätte untereinander nur den Text von den Unternehmen, der mich interessiert und den ich dann auswerten kann. Bisher habe ich jeden Bericht einzeln aufgemacht und die Textstelle gesucht. Das dauert aber ewig, da die Berichte meist zwischen 300 und 500 Seiten haben und ein direkter Vergleich fällt schwer, da man immer zwischen den Dokumenten hin und her klicken muss. Und da demnächst die Geschäftsberichte von 2010 veröffentlicht werden, würden außerdem wieder 400 neue Dokumente dazukommen.

Schreib mal eine genau Spezifikation dessen, was vorliegt und was du haben willst. (Verzeichnisstruktur, typischer Dateiinhalt, gewünschte Ausgabe.)

google: java io tutorial files

Die Verzeichnisstrukur ist folgende:

Hauptordner >> Land 1 >> Unternehmen 1 >> Geschäftsbericht von Unternehmen 1 als HTML
Hauptordner >> Land 1 >> Unternehmen 2 >> Geschäftsbericht von Unternehmen 2 als HTML
Hauptordner >> Land 2 >> Unternehmen 1 >> Geschäftsbericht von Unternehmen 1 als HTML
(...)
Hauptordner >> Land X >> Unternehmen X >> Geschäftsbericht von Unternehmen X als HTML

Der typische Dateiinhalt (im gewünschten Textblock) ist hauptsächlich Fließtext, manchmal Tabellen. Insgesamt jeweils so um die 5-10 Seiten.

Gewünschte Ausgabe: In einem Textdokument untereinander diese Textblöcke mit Unternehmensnamen (bzw. Dateiname reicht eigentlich)

Ist das überhaupt mit JAVA möglich?
Vielen Dank!

 

[Noctarius]

Gib mir mal ne Kontaktaddresse und dann kannst du mir so ein File mal zukommen lassen.

 

[Java?]

Danke, habe dir eine Nachricht mit links zu den files geschickt