Input/Output Formatierter Text aus PDF als Array auswerten in JAVA möglich ?

[Britta]

Hallo liebe Gemeinde,

Erst einmal ganz liebe Grüße von mir an das Forum als neu registrierte Nutzerin. Ich bin eine mittelmäßig erfahrene PHP Hobby-Entwicklerin, die schon das eine oder andere kleine Tool mit PHP/mySQL hinbekommen hat und nun vor der Herausforderung steht Platform übergreifend ein kleines Tool zur Verfügung zu stellen, mit dem man einen bereits vorgefertigten formatierten Text, der sich in einer PDF Datei befindet so auszuwerten, dass nachher ein Array mit den Absätzen und Überschriften etc. als separate Values zur Übergabe in eine Datenbank oder in ein Spreadsheet zur Verfügung stehen. Das Prinzip der String Auswertung (zumindest in PHP) habe ich soweit verstanden und auch schon erfolgreich eingesetzt, und dass man (zumindest in diesem Fall) anhand der Returns und gewisser String-Vorkommen wie UPPERCASE (bei den Titeln) etc. zumindest schon einmal Unterscheidungen zwischen Überschrift und Untertext machen kann (sofern der Text das vorgibt, was er tut). Aber da PHP halt selten auf Desktop Rechnern vorinstalliert (Apache Umgebung) ist und LibreOffice Nutzer (wir sind Studenten) die mit Base arbeiten, eh eine JRE vorinstalliert haben müssen, bietet sich halt die Fragean, ob das mit JAVA ginge, am ehesten an.

Vorerst war die Überlegung noch ob eine .txt Datei mehr Sinn machen würde als denn ein PDF, aber das Programm welches den .txt Export als formatierte Text Datei oder PDF anbietet, regelt bei der txt. Export Variante die Links-Einzüge über Lehrzeichen und davor befindlichen Returns am Ende jeder Zeile, selbst dann wenn da eigentlich kein Return im Fließtext wäre. Die Texte sind schon mit dem Hintergedanken verpflichtend so geschrieben, dass man eine gute Unterscheidung der Textgruppen machen kann: Title sind alle UPPERCASE und enden mit einem Return. Die Texte darunter enthalten nur am Ende ein Return bevor der nächste TITLE kommt, etc.

Meine vorsichtige Frage (wenn ihr gestattet) an euch wäre: ist so etwas grundsätzlich mit JAVA möglich oder sollte ich das eher in einer Vorverarbeitung als drei verschiedene Shell Scripte (PC,MAC,Linux) PDF to csv anbieten? Ist JAVA da eher zu umständlich für? Und wenn es mit JAVA möglich ist, habt ihr vielleicht einen Link oder Hint, wie ich da weiterkommen könnte? (also wo ich nachlesen und lernen kann?) Ich habe das Gefühl, meine Kenntnis über Auswertung von Strings und die aufgeteilte Übergabe in Arrays wie ich es aus PHP kenne, hilft mir da garnicht weiter, und im Netz hab ich halt schon Sachen (Klassen etc.) gefunden wie PDFBox, iText, PDFTextStream. Aber da habe ich das Gefühl ich schieße mit Kanonenkugeln auf Spatzen, da ich ja eigentlich ersteinmal "NUR" :bahnhof: alle im PDF vorkommenden "Textboxen" wertfrei jeweils als einzelne Strings-Schnipsel in Array Values übergeben möchte und dann erst eine "simple" Unterscheidung/Überprüfung der Values anhand von UPPERCASE etc. machen wollte.

Sorry, ist sehr lang geworden. Ich hoffe jemand von euch hat die Muße mir ein zwei HInts zu geben :rtfm: :autsch:

Ganz liebe Grüße ....

 

[jgh]

grundsätzlich ist das mit java relativ einfach möglich.

das du bei der nutzung von pdf-box, i-text etc. mit "kanonen auf spatzen schießt" ist zwar nicht ganz abwegig, aber ich wüsste nicht wie man ohne fremdlibary aus einem pdf-file den text einfach auslesen kann. mit den genannten ist es allerdings relativ easy.

solltest du noch nichts passendes gefunden haben, kann ich dir morgen/übermorgen mal ein kleines bsp-prog posten...heute ist mir nicht danach

 

[HimBromBeere]

Tach auch,

Hab´s für dich mal gegoogelt und einen Beitrag hier gefunden. Da werden u.a. PDFBox und iText als Bibliotheken genannt. Letztere habe ich mehr oder weniger bewusst auch schonmal in Verbindung mit JFreeChart (Werkzeugkiste zum Erstellen von Diagrammen und und und)genutzt, kann dir also dafür schonmal eine Empfehlung aussprechen. Allerdings ist das Extrahieren von Text aus einer PDF-Datei nicht ganz trivial und erfordert schon einiges an Arbeit, Bibliothek hin oder her.

[EDIT]Verdammte Axt, zu spät[/EDIT]

 

[kama]

Hallo,

ich empfehle einen Blick in die Tika Library...die extrahiert nämlich Text aus PDF und auch aus vielen anderen Formaten...

Gruß
Karl-Heinz Marbaise

 

[jgh]

Tach auch,

... Allerdings ist das Extrahieren von Text aus einer PDF-Datei nicht ganz trivial und erfordert schon einiges an Arbeit, Bibliothek hin oder her.

[EDIT]Verdammte Axt, zu spät[/EDIT]

mmmh, da bin ich nicht ganz deiner meinung... werde morgen/übermorgen mal die stoppuhr laufen lassen, weniger als ne halbe std schätze ich, ansonsten gebe ich dir recht

 

[HimBromBeere]

[OT]Mach nur, ich hätte besseres zu tun als ne halbe Stunde Zeit für eine mehr oder weniger wertlose Information zu verbrutzeln nur um dann festzustellen, dass der berechnte Aufwand hinhaut oder auch nicht. Btw: du scheinst außer Acht zu lassen, dass wir es im Thema mit einem Java-Neuling zu tun haben, was nicht unbedingt schlimm ist, aber zumindest 10-15Minuten mehr Zeit in Anspruch nimmt.[/OT]

 

[Britta]

Hallo an alle,

wow, jetzt bin ich ganz beschämt, dass ich gestern nicht gleich mal nach meinem Startpost hier rein geschaut habe. Hatte nicht so schnell damit gerechnet und war schon wieder in Online-Literatur zu dem Thema vertieft. So viele Antworten ... und so schnell. :rtfm: Tausend, tausend Dank an alle schonmal im Voraus, die sich hier die Zeit genommen haben mich in die richtige Richtung zu schupsen.

grundsätzlich ist das mit java relativ einfach möglich.

Das ist wirklich mal eine gute Nachricht. Danke Dir! Ich hatte schon Angst ich bin völlig auf dem Holzweg.

das du bei der nutzung von pdf-box, i-text etc. mit "kanonen auf spatzen schießt" ist zwar nicht ganz abwegig, aber ich wüsste nicht wie man ohne fremdlibary aus einem pdf-file den text einfach auslesen kann. mit den genannten ist es allerdings relativ easy.

Die von mir genannten verfügbaren Bibliotheken und Klassen (Dank an die Entwickler!) scheinen also hier auch in Betracht zu kommen? Hm. Ok dann mussich mich tiefergehend mit ihnen beschäftigen und hab wohl zu vorschnell in mir Zweifel aufkommen lassen.

solltest du noch nichts passendes gefunden haben, kann ich dir morgen/übermorgen mal ein kleines bsp-prog posten...heute ist mir nicht danach

Das versteh ich gut. War ja auch Sonntag. Und am Sonntag soll man auch nicht "programmieren" sondern sein Privatleben pflegen Im Übrigen, zu deinem Avatar: ich mag Kubrik Filme, aber ich habe trotz regelmäßigen Auffrischungen mit CO immer wieder Schwierigkeiten. Ich kann nicht erklären warum. Ich will den Film mögen, und tu es auch teilweise. Aber er gehört nicht zu meinen Kubrik Lieblingen. Versteh mich selbst da auch nicht so ganz ...

Tach auch, Hab´s für dich mal gegoogelt und einen Beitrag hier gefunden.

Hi Dank dir. hatte das schon vorher gegoogelt und den Post kannt ich schon. Darüber kam ich ja dann zu den bereits von mir genannten Klassen und Bibiliotheken, die ich im Startpost erwähnt habe. Aber ganz lieben Dank trotzdem.

[EDIT]Verdammte Axt, zu spät[/EDIT]

Geht ja auch nicht um Schnelligkeit ;-)

Hallo, ich empfehle einen Blick in die Tika Library...die extrahiert nämlich Text aus PDF und auch aus vielen anderen Formaten...

Oh! Die kannt ich ja noch gar nicht. Hey! Danke! Schau ich mir auf jeden Fall auch gleich mal an!

[OT]Mach nur, ich hätte besseres zu tun als ne halbe Stunde Zeit für eine mehr oder weniger wertlose Information zu verbrutzeln nur um dann festzustellen, dass der berechnte Aufwand hinhaut oder auch nicht. Btw: du scheinst außer Acht zu lassen, dass wir es im Thema mit einem Java-Neuling zu tun haben, was nicht unbedingt schlimm ist, aber zumindest 10-15Minuten mehr Zeit in Anspruch nimmt.[/OT]

[OT] Hmm, also ich find "spielerisches" Auseinandersetzen mit eigenen Spezialthemen keine Zeitverschwendung und ich kenne das von mir auch, dass mich jemand etwas fragt, wo ich mich gut auskenne und ich es für mich selbst zum Spass dann mal spielerisch "nachzeichne". Entweder weil jemand in der Runde sagt, dass ich falsch liege oder weil ich es aus Spass mal überprüfen will. Quasi ein bisschen sportlich betrachtet. So bleibt man in Übung und behält Freude an dem was man macht. Nicht dass ich hier alles vorgemacht bekommen möchte, aber ich fand es eher positiv sich selbst gegenüber, dass jgh gesagt hat, "ich lass mal die Stoppuhr laufen". Und hey ich bin zwar Java Neuling, aber nicht ganz unberührt was String Auswertungen betrifft ;-) trotz meiner bescheidenen 22 Jahre ... [/OT]

Dann sollte ich mir wohl jetzt mal alles was ihr mir gesagt habt durch den Kopf gehen lassen ... Ojee ... Ihr wisst ja was man über Frauen sagt, die nachdenken ... :noe:

Tausend Dank schonmal für alle hier im Voraus! Supertolles Forum. Ich hoffe ich komm damit weiter, dann freut sich meine Truppe über das kleine[STRIKE]s[/STRIKE] Helferlein ...

 

[jgh]

moin moin,
um Text aus einem pdf zu extrahieren braucht man keine 5 mins:

~ 2 mins suchen von pdf-box, download und addToBuildPath
~ 1 min google Suche und "klauen" von Code thx to Tom

allerdings muss man schon sagen, dass ich hier auf die schnelle auch Files gefunden habe, die nicht funktionieren("fehlende oder falsche HeaderInformationen"), oder wo der Zeichensatz noch angepasst werden muss, somit ist es evtl. doch nicht ganz so trivial.

schnell noch einen Frame drumgebastelt und Voila...

import java.awt.BorderLayout;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;

import javax.swing.JButton;
import javax.swing.JFileChooser;
import javax.swing.JFrame;
import javax.swing.JPanel;
import javax.swing.JScrollPane;
import javax.swing.JTextArea;

import org.apache.pdfbox.pdfparser.PDFParser;
import org.apache.pdfbox.pdmodel.PDDocument;
import org.apache.pdfbox.util.PDFTextStripper;

/**
 * @author Tom with some changes by me ;) jgh
 * 
 */
public class PdfBoxExample {

	/**
	 * @param args
	 */
	public static void main(String[] args) throws Exception {
		final JFrame f = new JFrame();
		f.setSize(500, 500);
		f.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
		f.setLocationRelativeTo(null);
		final JTextArea ta = new JTextArea();
		JScrollPane jsp = new JScrollPane(ta);
		JPanel p = new JPanel();

		final JButton b = new JButton("Browse for pdf-File");
		b.addActionListener(new ActionListener() {

			@Override
			public void actionPerformed(ActionEvent e) {
				JFileChooser jfc = new JFileChooser();
				int returnValue = jfc.showOpenDialog(f);
				if (returnValue == JFileChooser.APPROVE_OPTION) {
					PDFParser parser = null;
					try {
						parser = new PDFParser(new FileInputStream(jfc
								.getSelectedFile()));
						parser.parse();
						PDDocument doc = parser.getPDDocument();

						PDFTextStripper stripper = new PDFTextStripper();
						String textContent = stripper.getText(doc);
						ta.setText(textContent);
						doc.close();
					} catch (FileNotFoundException e1) {
						ta.setText(e1.getMessage());
						e1.printStackTrace();
					} catch (IOException e1) {
						ta.setText(e1.getMessage());
						e1.printStackTrace();
					}

				}
			}
		});
		p.add(b);
		f.add(jsp, BorderLayout.CENTER);
		f.add(p, BorderLayout.SOUTH);
		f.setVisible(true);

	}
}

[edit]wie und ob du den Zeichensatz anpassen willst UND welche Kriterien du dann für dein String[] anwenden willst, sind sicherlich etwas aufwendiger...aber machbar . Halt uns mal auf den laufenden [/edit]

 

[Britta]

Hi

... wow ...

moin moin,
um Text aus einem pdf zu extrahieren braucht man keine 5 mins:
~ 2 mins suchen von pdf-box, download und addToBuildPath
~ 1 min google Suche und "klauen" von Code thx to Tom

:autsch: ... ähm ... ja also ... da lieg ich statistisch noch ganz weit hinten mit meinen 3 Tagen die ich jetzt schon drann sitz ... Meine Bewunderung hast du hiermit sicher.

allerdings muss man schon sagen, dass ich hier auf die schnelle auch Files gefunden habe, die nicht funktionieren("fehlende oder falsche HeaderInformationen"), oder wo der Zeichensatz noch angepasst werden muss, somit ist es evtl. doch nicht ganz so trivial.

Oh ja ... Das mit den Files die nicht funktionieren, hab ich auch festgestellt.

MIt dem Part ...

						parser = new PDFParser(new FileInputStream(jfc
								.getSelectedFile()));
						parser.parse();
						PDDocument doc = parser.getPDDocument();

						PDFTextStripper stripper = new PDFTextStripper();
						String textContent = stripper.getText(doc);
						ta.setText(textContent);
						doc.close();

lag ich ja dann garnicht so falsch ... aber das Drum Herum musste ich erstmal genau lesen und verstehen. :rtfm: Ganz ganz lieben Dank dafür. Ich lerne grad richtig viel daran (DANKE!) und muss aber trauriger Weise feststellen, dass meine erste Vermutung, nämlich dass meine PHP Kenntnisse wenig weiterhelfen, sich leider bewahrheitet hat. :autsch:

[edit]wie und ob du den Zeichensatz anpassen willst UND welche Kriterien du dann für dein String[] anwenden willst, sind sicherlich etwas aufwendiger...aber machbar . Halt uns mal auf den laufenden [/edit]

Ja gern!

PDFs können halt ganz unterschiedlich aufgebaut sein. Wichtig war dass ich mir klar werde darüber welche Voraussetzungen man bei den PDFs realistisch verlangen kann (von dem jenigen der das PDF liefert). Zum Beispiel sind PDFs die über einen "PDF Druckereintrag" kommen meistens "unwissend", also mit Returns an jedem Zeilenende interpretiert. Das heißt: jede Zeile ist eine neue Textbox im PDF = ganz ungünstig für die Differenzierung von Textabschnitten. Hingegen liefern die direkten PDF Exporte der entsprechenden Schreibprogramme die Textblöcke meist korrekt, also nur dann eine neue Textbox, wenn tatsächlich ein Return auftritt. HIlfreich wäre auch wenn derjenige der das PDF liefert Kopf und Fusszeilen sowie Seitenzahlen etc. übergangsweise abschaltet (ist ja eh mehr für den realen Ausdruck wichtig), weil manche PDF Exporte legen dies in eine einzige Textbox, die sich quasi "hinter" die Haupttextboxen legt und oben und unten überlappt. Da ist dann das große Raten angesagt, wann die Box erscheint, ob man sie an Kriterien gefiltert bekommt und ob das bei großen Dokumenten nicht zu heftigen Rechenlasten kommt.

Dank deiner Hilfe hab ich nun zumindest schonmal eine Ausgabe des impotierten Textes im Viewer die vielversprechend aussieht und würde gern in den nächsten Tagen mal Code posten um zu fragen was ihr davon haltet.

Ich kann dir garnicht genug danken für den Einblick und hoffe dass das was ich da versuche hinzubekommen ein hilfreiches kleines Tool wird für Leute die Novellen oder Aufsätze etc. aus PDFs in Form von sortierten Gliederungen brauchen. Dann würd ich das natürlich gern hier fertig posten. Soll ja nicht nur für meine Mitstudenten sein. Ich fürcht nur, dass das wahrscheinlich hier sowieso jeder für schneller hinbekommen hätte, als was ich als Endergebnis abliefere ... :shock: