Frage zu OLSMultipleLinearRegression

C

CyborgIstDoof

Mitglied
Hallo. Also ich habe zum Beispiel die Folge "1110001100011" (Teilpalindrom). Als nächstes Bit der Folge sollte "1" vorhergesagt werden (Palindrom). Die Regression sollte also das Palindrom Muster erkennen. Ich verwende Apache Commons Math:

Java:
    public BitSet getPrediction(BitSet inputSet) {
        OLSMultipleLinearRegression regression = new OLSMultipleLinearRegression();
        double[] y = new double[inputSet.length()];
        double[][] x = new double[inputSet.length()][inputSet.length()];
        for (int i = 0; i < inputSet.length(); i++) {
            y[i] = i;
            x[i][i] = inputSet.get(i) ? 1 : 0;
        }
        regression.newSampleData(y, x);

        double[] residuals = regression.estimateResiduals();
        BitSet outputSet = new BitSet();
        for (int i = 0; i < residuals.length; i++) {
            outputSet.set(i, residuals[i] >= 0.5);
        }
        return outputSet;
    }

Java:
        String string = "1110001100011"; // Palindrom
        BitSet bitSet = new BitSet();
        for (int i = 0; i < string.length(); i++) {
            bitSet.set(i, string.charAt(i) == '1');
        }
        System.out.println(getPrediction(bitSet));

Leider funktioniert das aber nicht, Fehlermeldung (Zeile 9):

Exception in thread "main" org.apache.commons.math3.exception.MathIllegalArgumentException: not enough data (13 rows) for this many predictors (13 predictors)

Woran könnte das liegen?
 
C

CyborgIstDoof

Mitglied
Bist du dir sicher, dass lineare Regression der korrekte Weg ist, um ein Palindrom zu ergänzen?
Es sollen nicht nur Palindrome ergänzt werden. Es sollen "beliebige" Muster erkannt und fortgesetzt werden können. Bin gerne offen für Alternativvorschläge.

Das Palindrom hab ich jetzt einfach als ein einfaches Beispiel gewählt.

Nimm
1 9 2 8 3 7 4 6 ... als ein anderes Beispiel.

@mihe7 Ich dachte, das wäre die "bestdurchdachteste" Bibliothek die es gibt...
 
C

CyborgIstDoof

Mitglied
Du benötigst also einige tausend Testwerte, um 13 Parameter einigermaßen sicher schätzen zu können.
Die hab ich nicht. (Hat man im IQ Test schließlich auch nicht)

Habe es jetzt mal mit Logistic Curve Fitting probiert, aber das will nur "111111111111111111" zurückgeben:
https://stackoverflow.com/a/56586470
Java:
    public BitSet getPrediction(BitSet inputSet) {
        double[] xvalues = new double[inputSet.length()];
        double[] yvalues = new double[inputSet.length()];
        for (int i = 0; i < inputSet.length(); i++) {
            yvalues[i] = i;
            xvalues[i] = inputSet.get(i) ? 1 : 0;
        }

        List<WeightedObservedPoint> weightedObservedPoints = new ArrayList<>();
        for (int i = 0; i < inputSet.length(); i++) {
            weightedObservedPoints.add(new WeightedObservedPoint(1.0, xvalues[i], yvalues[i]));
        }

        double a = yvalues[0]; // assumes observations are sorted

        double k = yvalues[yvalues.length - 1];

        double b = 1.0;

        double n = 1.0;

        double q = 1.0;

        double m = xvalues[xvalues.length / 2];

        double[] estimates = new double[] { k, m, b, q, a, n };
        /* the logistic function we want to fit */
        ParametricUnivariateFunction logisticFunction = new Logistic.Parametric();
        SimpleCurveFitter curveFitter = SimpleCurveFitter.create(logisticFunction, estimates);
        final double[] fit = curveFitter.fit(weightedObservedPoints);

        System.out.println(Arrays.toString(fit));
        System.out.println("value of y at estimated curve inflection point (m) = " + logisticFunction.value(m, fit));

        BitSet outputSet = new BitSet();
        for (int i = 0; i < inputSet.length() + 5; i++) {
            outputSet.set(i, logisticFunction.value(i, fit) >= 0.5);
        }
        return outputSet;
    }

Java:
        String string = "1110001100011"; // Palindrom
        BitSet bitSet = new BitSet();
        for (int i = 0; i < string.length(); i++) {
            bitSet.set(i, string.charAt(i) == '1');
        }
        BitSet prediction = getPrediction(bitSet);
        for (int i = 0; i < prediction.length(); i++) {
            System.out.print(prediction.get(i) ? "1" : "0");
        }
        System.out.println();

Hättet ihr noch eine andere Idee?
 
F

fhoffmann

Top Contributor
Zu deinem ursprünglichen Beispiel:

Warum sollte
"1110001100011"
nicht ergänzt werden zu
"111000110001100011000111"
Das ist auch ein Palindrom (und es gibt noch unendlich viele weitere).
 
C

CyborgIstDoof

Mitglied
Wie im echten IQ Test auch ist oft nur die naheliegendste Lösung richtig. (Bezogen auf das Palindrom: das der kürzesten Länge).

Aber noch etwas anderes... das eigentliche Problem ist ein statistisches Problem (oszilliert). Ach sage ich wie es ist, ich möchte ein paar Aktienkurse nach bestimmten Merkmalen unter die Lupe nehmen.
 
F

fhoffmann

Top Contributor
Willst du uns verarschen?
Du fragst nach der Ergänzung von Palindromen und willst Aktienkurse vorhersagen?
Nur weil beide Fragen sich auf die "Zukunft" beziehen, sind dies doch unterschiedliche Fragen!
 
M

M.L.

Top Contributor
111000 ** 1100 ** 01 ** 1.... (oder Aufteilung in Sechser-Päckchen: 111000 ** 110001 ** 1 (gefolgt von 2*1 + 3*0 in bel. Reihenfolge) ** )
Idee: auf x-mal 1 folgt ebensooft die 0 (und umgekehrt), fehlt nur ein zuverlässiger Algorithmus für x (wobei (log.) Regression zwecks Vorhersage nicht zuverlässig sein dürfte). Und selbst wenn man bei z.B. Aktienkursen zuverlässige Modelle für die Mustererkennung hat: wenn genug betroffene Akteure davon erfahren, ändern diese idR ihr Verhalten (womit der Modellierungsaufwand als Zeitverschwendung angesehen werden kann)
 
C

CyborgIstDoof

Mitglied
Willst du uns verarschen?
Ne nicht verarschen. Also ich möchte wirklich ein paar Aktienkursverläufe untersuchen, mit Modellen aus der Statistik...

Ein "echtes" Beispiel sehe beispielweise so aus:
000000000000000000000000001111111000000000000000000000000000011111111111100000000000000000000000000000000000000000000000011111111111111111111111111111111111000000000000000011111111111111100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000011111111111111111111111111111111111111111111111111111111111100000000000000000000000000000000000000000000000000000000000000001111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111110000000000000000000000000000000000000000000000000000000000000000000111111111111111111

Und die Frage dazu wäre, wie diese Binärfolge am wahrscheinlichsten fortgesetzt wird... (0 ist bearish, 1 ist bullish)

Mir ist aber auch bewusste, Danke @M.L. an dieser Stelle, dass sich Aktienkurse jederzeit zufällig ändern können.
 
M

M.L.

Top Contributor
Aktienkurse jederzeit zufällig
(offtopic) Nicht zufällig: es gibt Einflüsse, die die menschlichen Sinnesorgane -mangels Relevanz für das Überleben- nicht darstellen, und dementsprechend in math. Modellen keine ausreichende Berücksichtigung finden...

(Addendum) Zitat aus einem Newsletter des Handelsblatt Research Institute: "(..)..Nun ja, unsere Sinnesorgane dienen nicht dazu, die komplexe Realität der Umwelt „richtig“ abzubilden. Ihre Funktion ist es, aus dem riesigen Spektrum der Signale und der akustischen und elektromagnetischen Wellen, denen wir ausgesetzt sind, diejenigen Informationen herauszufiltern, die für das Überleben und die Entwicklung der menschlichen Spezies von besonderer Bedeutung sind. Andere Lebewesen nehmen daher die gleiche Welt völlig anders wahr.(…)“
 
Zuletzt bearbeitet:
C

CyborgIstDoof

Mitglied
Mir ist durchaus bewusst, dass eine Vielzahl an Faktoren daran beteiligt sind und dass der Begriff "Zufall" nur eine starke Vereinfachung war.

Nichtsdestotrotz bleiben technische Chartanalysen äußerst ungenau.

Aber dennoch hatte ich danach gefragt. Vielleicht gibt es hier ja doch noch jemanden, der einen brauchbaren Ansatz mit einer statistischen Methode liefern kann.

Ich weiß, dass viele ihr Wissen lieber für sich behalten wollen, aber dabei nicht daran denken, dass das nix besonderes ist.

Jeder Mathematikstudent im zweiten Semester kennt auch statistische Herangehensweisen an solche Fragestellungen.

Das ist also keine besonders geheimhaltungswürdige Atom-Wissenschaft...

Trotzdem Danke an jeden der doch noch etwas zum Thema beiträgt. @mihe7 hatte ja bereits herausgefunden, dass die Math Bib von oben Murks ist oder für meinen Anwendungsfall nicht ausreicht.

:(
 
B

Barista

Top Contributor
Ich habe wirklich keine Ahnung von Mathematik.

Aber ich würde folgendermassen vorgehen:

Wenn die Daten vollständig sind, könnte ein Programm/Lib darin ein Muster erkennen:

Palindrom, Kurve, Wiederholung eines Teilabschnittes usw.


Wenn die Daten unvollständig sind (es fehlt ein Stück rechts), könnte das Programm/Lib versuchen, die fehlenden Teile per Generierung (sicher muss man die Grösse begrenzen) zu ergänzen.

Die Ergänzung, die zur Erkennung eines Musters führt, ist die passende Voraussage.

Es könnte dann auch mehrere passende Voraussagen geben, die wiederum bewertet werden.
 
F

fhoffmann

Top Contributor
Statistik kann normalerweise keine Modelle finden.
Der Weg ist anders: Das Modell ist bekannt und es werden Parameter des Modells geschätzt.

Hier könnte ein Modell sein:
Wenn die letzte Zahl i ist (0 oder 1) ist mit großer Wahrscheinlichkeit (p) auch die nächste Zahl i und nur mit gernger Wahrscheilichkeit (1-p) die nächste Zahl 1-i (also die andere Zahl).
Zu schätzen ist nun die Wahrscheilichkeit p. Das ist diejenige Wahrscheinlichkeit, unter der die gegebene Reihe am plausibelsten ist.

Das soll aber nur zur Veranschaung dienen und ich behaupte nicht, dass dies ein gutes Modell für Aktienkurse ist.

Willkürlich irgendwelche statistischen Methoden (wie Regressionsanalyse) auf die Zahlen loszulassen, dürfte nichts bringen.
 
M

M.L.

Top Contributor
(zusätzlich) Im Grund gibt es zwei Annahmen: der Datensatz ist vollständig oder er ist nicht vollständig. Wenn es sich bei "1110001100011" um einen vollständigen DS handelt, muss das fehlende Stück -per definitionem eines Palindroms - tatsächlich "1" lauten (führt zu "11100011000111").
Bei einem unvollständigen DS könnte Extrapolation weiterhelfen (schliesst Regression aller Art aber nicht pauschal aus)
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
M Frage zu printWriter Java Basics - Anfänger-Themen 5
KogoroMori21 Frage zum Euklidischen Algorithmus Java Basics - Anfänger-Themen 11
S Verständnis-Frage zu einer HÜ? Java Basics - Anfänger-Themen 1
F Frage betreff Programm mit dem man C++-Code in JAVA-Code übersetzen lassen kann Java Basics - Anfänger-Themen 2
L Frage zur Ticket Maschine Java Basics - Anfänger-Themen 1
J Frage zu OOP-Klassendiagramm Java Basics - Anfänger-Themen 8
OSchriever Frage zu Compiler Java Basics - Anfänger-Themen 8
H Frage zu Throw Exception Java Basics - Anfänger-Themen 2
TimoN11 Frage zu Java-Vererbung (Cast) Java Basics - Anfänger-Themen 5
Bademeister007 Hallo Leute ich hab eine Frage zur ArrayList Java Basics - Anfänger-Themen 8
F Frage betreff Programmierbücher zu Lagerverwaltung als Konsolenprogramm Java Basics - Anfänger-Themen 3
dieter000 Kurze Frage kann mir ejmand kurz diesen Code erklären, bzw wie man die zeilen erklärt und so Java Basics - Anfänger-Themen 1
I String.split regex Frage Java Basics - Anfänger-Themen 2
C Best Practice Frage zum MVC-Pattern Java Basics - Anfänger-Themen 2
dieter000 Frage zu einem Beispiel... Java Basics - Anfänger-Themen 5
J Frage zum Loggen Java Basics - Anfänger-Themen 18
J Methoden Frage: Array-Werte in anderer Methode ändern Java Basics - Anfänger-Themen 4
Zrebna Frage zum "Referenzen-konzept" in Java Java Basics - Anfänger-Themen 8
JD_1998 Array-Position aus einer Methode in einer anderen ausgeben (Kurze Frage) Java Basics - Anfänger-Themen 2
marcooooo Frage zu bestimmten Beispiel Java Basics - Anfänger-Themen 31
NeoLexx equals()-Methode Verständnis Frage anhand Code Beispiel Java Basics - Anfänger-Themen 22
N Input/Output Eine Frage über system.out.println. Java Basics - Anfänger-Themen 10
B Erste Schritte Learning Coding (!) Frage an erfahrene Programmierer. Java Basics - Anfänger-Themen 23
M konzeptuelle Frage: In welcher Klasse definiert man am Besten Methoden, die die Kommunikation mit dem User regeln? Java Basics - Anfänger-Themen 8
B Frage zum Code verständnis im Resultat Java Basics - Anfänger-Themen 10
C Exception-Frage Java Basics - Anfänger-Themen 3
J Eine Frage zur Schreibweise == ? : Java Basics - Anfänger-Themen 3
S Frage des Designs Java Basics - Anfänger-Themen 1
JavaTalksToMe Extends/Implements Frage Java Basics - Anfänger-Themen 3
pkm Frage zu Servletfunktion Java Basics - Anfänger-Themen 0
B Frage zur Währungsumrechnung Java Basics - Anfänger-Themen 3
S Allgemeine Frage über Generics und Vererbungen Java Basics - Anfänger-Themen 5
Kirby.exe Frage zur Verwendung von Interfaces Java Basics - Anfänger-Themen 6
D Frage zu Strings einer Exception Java Basics - Anfänger-Themen 4
L Wie frage ich ab, ob in einem Array, Werte doppelt vorkommen? Java Basics - Anfänger-Themen 4
D Frage zur IDE IntelliJ IDEA Java Basics - Anfänger-Themen 6
H Frage zum 2d Array Java Basics - Anfänger-Themen 1
N Frage zum Newton-Fraktal Java Basics - Anfänger-Themen 1
H Frage zu interfaces Java Basics - Anfänger-Themen 1
J Frage dazu Variablen klassenübergreifend zu verändern Java Basics - Anfänger-Themen 22
I Frage zu SkipList Java Basics - Anfänger-Themen 4
G Frage zu JScrollPane Java Basics - Anfänger-Themen 12
Kirby.exe Allgemeine Frage Java Basics - Anfänger-Themen 3
W Frage zu anonymen Klassen Java Basics - Anfänger-Themen 4
J Kleine Frage zu OOP Java Basics - Anfänger-Themen 371
S Frage Klasse und Objekte Java Basics - Anfänger-Themen 2
F Frage zu Iteratoren Java Basics - Anfänger-Themen 2
C Erste Schritte Frage zur ArrayList Java Basics - Anfänger-Themen 15
J Frage zur Vererbung Java Basics - Anfänger-Themen 1
H Frage zur ermittlung eines doppelte Paars aus Sotieralgorithmus Java Basics - Anfänger-Themen 4
H Frage zum Array Java Basics - Anfänger-Themen 17
G Schach -Frage 2- Maussteuerung Java Basics - Anfänger-Themen 7
G Schach in Java - Allgemeine Frage zur Architektur Java Basics - Anfänger-Themen 7
B Fachliche Frage bei Rechnungen Java Basics - Anfänger-Themen 16
B Frage zu: String... strings -> Ungleiche Anzahl an Parameter? Java Basics - Anfänger-Themen 4
B Frage zu Datenbank Design - Rechnungen, Angebote... und deren Positionen Java Basics - Anfänger-Themen 4
H Frage zu Parameter einer Methode Java Basics - Anfänger-Themen 2
H Einfache Frage zur Punktnotation objektname.methode(wert) Java Basics - Anfänger-Themen 2
H Frage zu Parameter einer Methode Java Basics - Anfänger-Themen 3
H Frage zur if-Bedingung bzw switch case Java Basics - Anfänger-Themen 6
H Frage um Eingbeaufforderung zu realisieren Java Basics - Anfänger-Themen 4
H Frage zu Methoden/Funktionen Java Basics - Anfänger-Themen 3
X Frage zur einer ArrayList in einer ArrayList Java Basics - Anfänger-Themen 5
S Frage zu Scanner Java Basics - Anfänger-Themen 3
M Rationale Zahl erkennen - Kurze Frage zum Restwert nach Division Java Basics - Anfänger-Themen 3
D Komplizierte Frage zum Writer Java Basics - Anfänger-Themen 4
I Frage zu Generics und Wildcards Java Basics - Anfänger-Themen 2
G Frage an die Experten Java Basics - Anfänger-Themen 39
H Frage zu fehler Java Basics - Anfänger-Themen 24
F Konstruktor richtig implementiert? Frage zu Benutzereingaben... Java Basics - Anfänger-Themen 9
B Frage zu Arrays Java Basics - Anfänger-Themen 3
O Bedingter Operator eine Frage! Java Basics - Anfänger-Themen 10
B Threads Thread sleep() Method einfache Frage Java Basics - Anfänger-Themen 8
W Stream Array List - Frage Java Basics - Anfänger-Themen 5
B Verständnis Frage zu der Aufgabe Java Basics - Anfänger-Themen 30
Koookie Kleines Frage - Antwort Programm (Anfänger) Java Basics - Anfänger-Themen 5
O Ganz einfache Frage - Array Java Basics - Anfänger-Themen 5
F Erste Schritte Frage zu simplem Taschenrechner(switch) Java Basics - Anfänger-Themen 16
D Frage zu Exceptions Java Basics - Anfänger-Themen 8
H Frage um den Code bildlich darzustellen Java Basics - Anfänger-Themen 2
D regex Aufbau Frage Java Basics - Anfänger-Themen 4
J Frage zu Pfaden Java Basics - Anfänger-Themen 1
J Frage zur Darstellung Java Basics - Anfänger-Themen 2
D Wie frage ich ab ob die Linke maus Taste gedrückt wurde? Java Basics - Anfänger-Themen 3
J Float Frage Java Basics - Anfänger-Themen 1
H Frage zu Übungsaufgabe, Array Java Basics - Anfänger-Themen 7
ralfb1105 Frage zu Thread Synchronisation mit wait() und notify() Java Basics - Anfänger-Themen 3
D Doofe Frage... Java Basics - Anfänger-Themen 2
M Frage, wie dieser Code funktioniert, bzw. weshab er bei mir nicht funktioniert Java Basics - Anfänger-Themen 4
L Frage zu LibGDX Java Basics - Anfänger-Themen 2
O boolean Array Frage! Java Basics - Anfänger-Themen 4
A Frage zur Aufgabe Uhrzeit einstellen mit Objekten Java Basics - Anfänger-Themen 18
S Frage zu Rekursion... Java Basics - Anfänger-Themen 15
S Noch eine Frage zur Rekursion... Java Basics - Anfänger-Themen 11
S Frage zu einer Rekursion Java Basics - Anfänger-Themen 15
S Sudoku Checker Frage Java Basics - Anfänger-Themen 1
pkm Frage wegen möglichem grouping-hack Java Basics - Anfänger-Themen 22
S Erste Schritte Berechnung des Paketportos - Problem/Frage Java Basics - Anfänger-Themen 52
K Operatoren Frage zu Vergleichsoperatoren Java Basics - Anfänger-Themen 3
R Input/Output Frage zu System.out.println Java Basics - Anfänger-Themen 5

Ähnliche Java Themen


Oben