Gemeinsamkeiten großer Datenmengen

[BigJ]

Hallo

ich wollte fragen, wie man in Java ein Programm programmieren kann, dass bei großen Datenmengen Gemeinsamkeiten findet, und anhand dieser neue Daten Klassifizieren kann, also sozusagen trainierbar ist. Das ganze sollte KEINE Künstliche Intelligenz sein!

Vielen Dank im Voraus
BigJ

 

[mrBrown]

Hier passt die gleiche Antwort wie im anderem Thread...

Ja, ist möglich, das bezeichnet man aber allgemein als Künstliche Intelligenz.

 

[BigJ]

Ok, danke

Aber ich dachte eigentlich eher an einen Algorithmus, der die Bytes z.B. mehrerer Datein analysiert und daraus dann eine "Byte Regel" für diese Datei findet, und diese dann in eine Datenbank einpflegt, sodass man dann den Eintrag in der Datenbank einlesen kann, und mit einer neuen Datei abgleichen kann, und somit feststellen kann, ob diese Datei auch gleich oder ähnlich ist, wie die analysierten Datein. Ich hoffe, ich konnte verständlich machen, was ich suche

Vielen Dank im Voraus

BigJ

 

[Tobse]

Wie mrBrown schon sagte: das ist ein super andendungsfall für Neuronale Netze (oft auch als KI bezeichnet).

Das Problem ist folgendes: KI erkennt Muster und Regeln und kann sie selbst wieder anwenden (nichts anderes tut unser Gehirn; den ganzen Tag lang). Muster ohne die Verwendung eines Neuronalen Netzes zu erkennen ist nur für Datensätze von ein paar Byte (~8-12) effizient möglich. Mit strukturierten und durch einen angepassten Algorithmus. vorselektierten Daten schaffst Du Mustererkennung ggf. Für 8-10 Datenfelder (Max 1KB) Pro Datensatz. Megabyte großen Dateien wirst Du damit aber nicht zu leibe Rücken können.

P.S.: Dateien von mehreren MB Dateityp-Unabhängig zu analysieren und das gewonnene Wissen auf neue Datensätze anzuwenden ist wahrscheinlich möglich, benötigt imho aber immense Rechenkraft. Als Beispiel: Alpha GO läuft auf mehr als 1200 GPUs und mehr als 2000 CPUs. Ein Go Spiel als Datei ist aber kleiner als 1MB.

 

[BigJ]

Ok, Danke für die schnelle Antwort!