Hashmap auseinandernehmen und analysieren

[zenpaticx]

Hallo an alle,

ich versuche momentan ein Programm zu schreiben, bei dem eine Textdatei eingelesen wird und dann erkannt werden soll, um welche Sprache es sich handelt.

Kurz der Aufbau: Textdatei wird eingelesen, in einen String gepackt, gefiltert (dass nur ausgewählte Buchstaben und Zahlen in dem String enthalten werden) und dann kommt schon der spannendere Teil. Ich habe eine Hashmap (char und int), der Key ist der Buchstabe und die Value ist der Wert, wie oft der Buchstabe im Text vorkommt. Am Ende wird die Hashmap ausgegeben.
Ausgegeben wird mit der Methode .entrySet().
Eine beispielshafte Ausgabe ist die aktuelle:

[a=1, d=1, e=2, w=4, g=1, è=1, é=1, ê=1]

Jetzt stehe ich vor dem folgenden Problem und weiß auch ehrlich gesagt nicht wie ich das Problem angehen soll, da das Programm zeitnah fertig sein soll.
Ich probiere zwar gerne aus, habe aber wirklich keine weitere Idee mehr.

Also, was ich jetzt vorhabe: Ich will gucken, z.B. aha a ist 1 mal, w ist 4 mal usw. im Text enthalten.
Ich will anhand der Tabelle von Wikipedia schauen, welche Sprache es ist.

Hat bitte jemand eine Idee?

Besten Dank und einen schönen Abend!

 

[Java20134]

Nimm dir doch einfach einen Text mit einer bestimmten Anzahl von Wörtern. Lies ihn ein und du erhältst damit die Prozente, da du die Gesamtanzahl kennst und die Anzahl des Buchstabens in dem Text und dann schaust du, welche Sprache passt: Wo es die meisten Übereinstimmungen gibt. Diese Tabelle aus Wikipedia würde ich daher auch in eine externe Datei speichern und auslesen und dann hast du auch da die Daten!

 

[zenpaticx]

@Java20134 Ja das ist auch das, was ich vorhabe, allerdings wenn ich jetzt eine Datei mit einem Buchstabe habe (a), dann ist a zu 100%. Woher soll man dann wissen, welche Sprache es ist?

Okay mit einem Buchstabe ist das ein dummes Beispiel, aber ich muss ja die prozentualen Werte irgendwie verändern. Der Buchstabe a kommt lt. Wikipedia bei uns zu 6,51 % vor. Aber wie wurde das berechnet? Von allen Wörtern im Duden? Wenn ich jetzt einen deutschsprachigen Text habe, und a kommt zu 25 % vor, woher soll ich wissen, dass der Text deutsch ist?

 

[Java20134]

Auf was diese Berechnungen basieren kann ich dir nicht sagen! Und genaue Angaben wirst du mit der Tabelle nicht hinbekommen, da die Prozentangaben einen Durchschnitt angeben. Aber nicht jeder Text entspricht dem Durchschnitt!

 

[Thallius]

Ich glaube du solltest erstmal Prozentrechnung lernen bevor du weiter machst. Das ist nun wirklich mathematisch kein Kunstwerk was du da vorhast

 

[Meniskusschaden]

allerdings wenn ich jetzt eine Datei mit einem Buchstabe habe (a), dann ist a zu 100%. Woher soll man dann wissen, welche Sprache es ist?

Na ja, ein Text der zu 100% aus dem Buchstaben a besteht, ist ja in so ziemlich allen Sprachen gleich aussagekräftig, also quasi ein multilingualer Text. Da muss man wohl keine Sprache zuordnen.

Wenn ich jetzt einen deutschsprachigen Text habe, und a kommt zu 25 % vor, woher soll ich wissen, dass der Text deutsch ist?

Einen Text mit einem 25-prozentigen a-Anteil wirst du vermutlich auch kaum finden. Nach deinem Ansatz und den im Wikipedia-Artikel vertretenen Sprachen, würde das eben für Spanisch sprechen. Mir ist im Moment der Zweck deines Postings nicht klar. Zweifelst du jetzt prinzipiell am Erfolg deines Ansatzes und suchst nach Alternativen oder benötigst du noch Unterstützung, deinen Ansatz umzusetzen? Dann solltest du vielleicht eine konkretere Frage stellen.

Ich glaube du solltest erstmal Prozentrechnung lernen bevor du weiter machst. Das ist nun wirklich mathematisch kein Kunstwerk was du da vorhast

Das ist natürlich eine Voraussetzung. Allerdings ist er ja noch nicht fertig, wenn er die prozentualen Werte für den untersuchten Text hat, denn er muss sich ja noch eine Berechnungsmethode überlegen, um festzustellen, welche der ca. zehn bei Wikipedia aufgelisteten Verteilungen am besten dazu passt. Das geht ja schon etwas über Prozentrechnung hinaus.

 

[Thallius]

Das ist natürlich eine Voraussetzung. Allerdings ist er ja noch nicht fertig, wenn er die prozentualen Werte für den untersuchten Text hat, denn er muss sich ja noch eine Berechnungsmethode überlegen, um festzustellen, welche der ca. zehn bei Wikipedia aufgelisteten Verteilungen am besten dazu passt. Das geht ja schon etwas über Prozentrechnung hinaus.

Nein, da errechnet er einfach die prozentuale Gesammtabweichung zu jeder Sprache und nimmt das Minimum. Ist auch nur Prozentrechnung

 

[Meniskusschaden]

Und die prozentuale Gesamtabweichung ist was? Die Summe der Absolutwerte der Differenzen zwischen den prozentualen Anteilen pro Buchstabe? Ja, das könnte funktionieren. Ich hatte eigentlich irgendeine wilde Korrelations-Chi²-Sonstwas-Koeffizienten-Formel erwartet. Aber in der Statistik kommt's ja oft anders, als man denkt.