Frage zu OLSMultipleLinearRegression

Hallo. Also ich habe zum Beispiel die Folge "1110001100011" (Teilpalindrom). Als nächstes Bit der Folge sollte "1" vorhergesagt werden (Palindrom). Die Regression sollte also das Palindrom Muster erkennen. Ich verwende Apache Commons Math:

[CODE lang="java" highlight="9"] public BitSet getPrediction(BitSet inputSet) {
OLSMultipleLinearRegression regression = new OLSMultipleLinearRegression();
double[] y = new double[inputSet.length()];
double[][] x = new double[inputSet.length()][inputSet.length()];
for (int i = 0; i < inputSet.length(); i++) {
y = i;
x = inputSet.get(i) ? 1 : 0;
}
regression.newSampleData(y, x);

double[] residuals = regression.estimateResiduals();
BitSet outputSet = new BitSet();
for (int i = 0; i < residuals.length; i++) {
outputSet.set(i, residuals >= 0.5);
}
return outputSet;
}[/CODE]

Java:
        String string = "1110001100011"; // Palindrom
        BitSet bitSet = new BitSet();
        for (int i = 0; i < string.length(); i++) {
            bitSet.set(i, string.charAt(i) == '1');
        }
        System.out.println(getPrediction(bitSet));

Leider funktioniert das aber nicht, Fehlermeldung (Zeile 9):

Exception in thread "main" org.apache.commons.math3.exception.MathIllegalArgumentException: not enough data (13 rows) for this many predictors (13 predictors)

Woran könnte das liegen?
 
Bist du dir sicher, dass lineare Regression der korrekte Weg ist, um ein Palindrom zu ergänzen?
Es sollen nicht nur Palindrome ergänzt werden. Es sollen "beliebige" Muster erkannt und fortgesetzt werden können. Bin gerne offen für Alternativvorschläge.

Das Palindrom hab ich jetzt einfach als ein einfaches Beispiel gewählt.

Nimm
1 9 2 8 3 7 4 6 ... als ein anderes Beispiel.

@mihe7 Ich dachte, das wäre die "bestdurchdachteste" Bibliothek die es gibt...
 
Du benötigst also einige tausend Testwerte, um 13 Parameter einigermaßen sicher schätzen zu können.
Die hab ich nicht. (Hat man im IQ Test schließlich auch nicht)

Habe es jetzt mal mit Logistic Curve Fitting probiert, aber das will nur "111111111111111111" zurückgeben:
https://stackoverflow.com/a/56586470
Java:
    public BitSet getPrediction(BitSet inputSet) {
        double[] xvalues = new double[inputSet.length()];
        double[] yvalues = new double[inputSet.length()];
        for (int i = 0; i < inputSet.length(); i++) {
            yvalues[i] = i;
            xvalues[i] = inputSet.get(i) ? 1 : 0;
        }

        List<WeightedObservedPoint> weightedObservedPoints = new ArrayList<>();
        for (int i = 0; i < inputSet.length(); i++) {
            weightedObservedPoints.add(new WeightedObservedPoint(1.0, xvalues[i], yvalues[i]));
        }

        double a = yvalues[0]; // assumes observations are sorted

        double k = yvalues[yvalues.length - 1];

        double b = 1.0;

        double n = 1.0;

        double q = 1.0;

        double m = xvalues[xvalues.length / 2];

        double[] estimates = new double[] { k, m, b, q, a, n };
        /* the logistic function we want to fit */
        ParametricUnivariateFunction logisticFunction = new Logistic.Parametric();
        SimpleCurveFitter curveFitter = SimpleCurveFitter.create(logisticFunction, estimates);
        final double[] fit = curveFitter.fit(weightedObservedPoints);

        System.out.println(Arrays.toString(fit));
        System.out.println("value of y at estimated curve inflection point (m) = " + logisticFunction.value(m, fit));

        BitSet outputSet = new BitSet();
        for (int i = 0; i < inputSet.length() + 5; i++) {
            outputSet.set(i, logisticFunction.value(i, fit) >= 0.5);
        }
        return outputSet;
    }

Java:
        String string = "1110001100011"; // Palindrom
        BitSet bitSet = new BitSet();
        for (int i = 0; i < string.length(); i++) {
            bitSet.set(i, string.charAt(i) == '1');
        }
        BitSet prediction = getPrediction(bitSet);
        for (int i = 0; i < prediction.length(); i++) {
            System.out.print(prediction.get(i) ? "1" : "0");
        }
        System.out.println();

Hättet ihr noch eine andere Idee?
 

fhoffmann

Top Contributor
Zu deinem ursprünglichen Beispiel:

Warum sollte
"1110001100011"
nicht ergänzt werden zu
"111000110001100011000111"
Das ist auch ein Palindrom (und es gibt noch unendlich viele weitere).
 
Wie im echten IQ Test auch ist oft nur die naheliegendste Lösung richtig. (Bezogen auf das Palindrom: das der kürzesten Länge).

Aber noch etwas anderes... das eigentliche Problem ist ein statistisches Problem (oszilliert). Ach sage ich wie es ist, ich möchte ein paar Aktienkurse nach bestimmten Merkmalen unter die Lupe nehmen.
 

fhoffmann

Top Contributor
Willst du uns verarschen?
Du fragst nach der Ergänzung von Palindromen und willst Aktienkurse vorhersagen?
Nur weil beide Fragen sich auf die "Zukunft" beziehen, sind dies doch unterschiedliche Fragen!
 

M.L.

Top Contributor
111000 ** 1100 ** 01 ** 1.... (oder Aufteilung in Sechser-Päckchen: 111000 ** 110001 ** 1 (gefolgt von 2*1 + 3*0 in bel. Reihenfolge) ** )
Idee: auf x-mal 1 folgt ebensooft die 0 (und umgekehrt), fehlt nur ein zuverlässiger Algorithmus für x (wobei (log.) Regression zwecks Vorhersage nicht zuverlässig sein dürfte). Und selbst wenn man bei z.B. Aktienkursen zuverlässige Modelle für die Mustererkennung hat: wenn genug betroffene Akteure davon erfahren, ändern diese idR ihr Verhalten (womit der Modellierungsaufwand als Zeitverschwendung angesehen werden kann)
 
Willst du uns verarschen?
Ne nicht verarschen. Also ich möchte wirklich ein paar Aktienkursverläufe untersuchen, mit Modellen aus der Statistik...

Ein "echtes" Beispiel sehe beispielweise so aus:
000000000000000000000000001111111000000000000000000000000000011111111111100000000000000000000000000000000000000000000000011111111111111111111111111111111111000000000000000011111111111111100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000011111111111111111111111111111111111111111111111111111111111100000000000000000000000000000000000000000000000000000000000000001111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111110000000000000000000000000000000000000000000000000000000000000000000111111111111111111

Und die Frage dazu wäre, wie diese Binärfolge am wahrscheinlichsten fortgesetzt wird... (0 ist bearish, 1 ist bullish)

Mir ist aber auch bewusste, Danke @M.L. an dieser Stelle, dass sich Aktienkurse jederzeit zufällig ändern können.
 

M.L.

Top Contributor
Aktienkurse jederzeit zufällig
(offtopic) Nicht zufällig: es gibt Einflüsse, die die menschlichen Sinnesorgane -mangels Relevanz für das Überleben- nicht darstellen, und dementsprechend in math. Modellen keine ausreichende Berücksichtigung finden...

(Addendum) Zitat aus einem Newsletter des Handelsblatt Research Institute: "(..)..Nun ja, unsere Sinnesorgane dienen nicht dazu, die komplexe Realität der Umwelt „richtig“ abzubilden. Ihre Funktion ist es, aus dem riesigen Spektrum der Signale und der akustischen und elektromagnetischen Wellen, denen wir ausgesetzt sind, diejenigen Informationen herauszufiltern, die für das Überleben und die Entwicklung der menschlichen Spezies von besonderer Bedeutung sind. Andere Lebewesen nehmen daher die gleiche Welt völlig anders wahr.(…)“
 
Zuletzt bearbeitet:
Mir ist durchaus bewusst, dass eine Vielzahl an Faktoren daran beteiligt sind und dass der Begriff "Zufall" nur eine starke Vereinfachung war.

Nichtsdestotrotz bleiben technische Chartanalysen äußerst ungenau.

Aber dennoch hatte ich danach gefragt. Vielleicht gibt es hier ja doch noch jemanden, der einen brauchbaren Ansatz mit einer statistischen Methode liefern kann.

Ich weiß, dass viele ihr Wissen lieber für sich behalten wollen, aber dabei nicht daran denken, dass das nix besonderes ist.

Jeder Mathematikstudent im zweiten Semester kennt auch statistische Herangehensweisen an solche Fragestellungen.

Das ist also keine besonders geheimhaltungswürdige Atom-Wissenschaft...

Trotzdem Danke an jeden der doch noch etwas zum Thema beiträgt. @mihe7 hatte ja bereits herausgefunden, dass die Math Bib von oben Murks ist oder für meinen Anwendungsfall nicht ausreicht.

:(
 

Barista

Top Contributor
Ich habe wirklich keine Ahnung von Mathematik.

Aber ich würde folgendermassen vorgehen:

Wenn die Daten vollständig sind, könnte ein Programm/Lib darin ein Muster erkennen:

Palindrom, Kurve, Wiederholung eines Teilabschnittes usw.


Wenn die Daten unvollständig sind (es fehlt ein Stück rechts), könnte das Programm/Lib versuchen, die fehlenden Teile per Generierung (sicher muss man die Grösse begrenzen) zu ergänzen.

Die Ergänzung, die zur Erkennung eines Musters führt, ist die passende Voraussage.

Es könnte dann auch mehrere passende Voraussagen geben, die wiederum bewertet werden.
 

fhoffmann

Top Contributor
Statistik kann normalerweise keine Modelle finden.
Der Weg ist anders: Das Modell ist bekannt und es werden Parameter des Modells geschätzt.

Hier könnte ein Modell sein:
Wenn die letzte Zahl i ist (0 oder 1) ist mit großer Wahrscheinlichkeit (p) auch die nächste Zahl i und nur mit gernger Wahrscheilichkeit (1-p) die nächste Zahl 1-i (also die andere Zahl).
Zu schätzen ist nun die Wahrscheilichkeit p. Das ist diejenige Wahrscheinlichkeit, unter der die gegebene Reihe am plausibelsten ist.

Das soll aber nur zur Veranschaung dienen und ich behaupte nicht, dass dies ein gutes Modell für Aktienkurse ist.

Willkürlich irgendwelche statistischen Methoden (wie Regressionsanalyse) auf die Zahlen loszulassen, dürfte nichts bringen.
 

M.L.

Top Contributor
(zusätzlich) Im Grund gibt es zwei Annahmen: der Datensatz ist vollständig oder er ist nicht vollständig. Wenn es sich bei "1110001100011" um einen vollständigen DS handelt, muss das fehlende Stück -per definitionem eines Palindroms - tatsächlich "1" lauten (führt zu "11100011000111").
Bei einem unvollständigen DS könnte Extrapolation weiterhelfen (schliesst Regression aller Art aber nicht pauschal aus)
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
Zrebna Frage zu Test-Driven Development (TDD) Java Basics - Anfänger-Themen 3
I Frage Thymeleaf -> Fehler ignorieren und mit "" ersetzen? Java Basics - Anfänger-Themen 15
I Frage Thymeleaf -> Prefix / Suffix ändern? Java Basics - Anfänger-Themen 11
D Rekursions Probleme / frage Java Basics - Anfänger-Themen 4
T Frage zu Parse Java Basics - Anfänger-Themen 2
H Frage an die Profis Java Basics - Anfänger-Themen 4
J Eine konzeptionelle Frage zu OOP Java Basics - Anfänger-Themen 3
P Frage zu Rekursion und Backtracking Java Basics - Anfänger-Themen 2
H Frage zur Ausgabe Java Basics - Anfänger-Themen 4
H Frage zu arithmetischen Operationen Java Basics - Anfänger-Themen 20
F Kurze Frage zu replace() Java Basics - Anfänger-Themen 19
JavaSchmecktLecker Polymorphie Frage zur Methodenüberschreibung Java Basics - Anfänger-Themen 21
J Frage zu einem "Taschenrechner" code Java Basics - Anfänger-Themen 9
B Erste Schritte Frage zu Instanzierung und Referenzen Java Basics - Anfänger-Themen 8
DoubleM Runtime.getRuntime().exec Frage Java Basics - Anfänger-Themen 2
J Eine theoretische Frage zur Praxis - JPanel oder Canvas Java Basics - Anfänger-Themen 5
O Frage: Formaler Typbezeichner? Java Basics - Anfänger-Themen 3
I BlueJ Queue Frage für Klausur Java Basics - Anfänger-Themen 2
N Verständnis Frage zu Variablen Java Basics - Anfänger-Themen 3
N Spezielle frage zum Comparator Java Basics - Anfänger-Themen 6
L Frage zum Array Java Basics - Anfänger-Themen 1
A Frage zum UML Design Java Basics - Anfänger-Themen 1
I Hilfe bei Klausur Frage Java Basics - Anfänger-Themen 8
izoards Drucken Frage zu FAQ Beitrag Java Basics - Anfänger-Themen 2
J Frage zu meinem Code (OOP) Java Basics - Anfänger-Themen 4
sserio Split() -> Regex Frage. Java Basics - Anfänger-Themen 7
A OCA Study Guide: 2. Frage aus Kapitel 3 Java Basics - Anfänger-Themen 9
sserio Date Library Frage Java Basics - Anfänger-Themen 9
Max246Sch Frage zu Währungsrechner Code Java Basics - Anfänger-Themen 2
sserio Frage zu HashMaps Java Basics - Anfänger-Themen 20
sserio Frage zu Threading - Multithreading Java Basics - Anfänger-Themen 2
sserio Frage zu Lambda Ausdrücken Java Basics - Anfänger-Themen 7
sserio Frage zu BigInteger Java Basics - Anfänger-Themen 1
D Frage bzgl. Enum-Handhabung Java Basics - Anfänger-Themen 16
xxx12 Frage Java Basics - Anfänger-Themen 2
I Generelle Frage zu Mikroservices (Spring Boot?), Docker... Java Basics - Anfänger-Themen 7
R Frage zu Methoden (Rückgabewert u. ohne.) Java Basics - Anfänger-Themen 2
A Frage zur programmierung Java Basics - Anfänger-Themen 12
M Frage zur Methode split der Klasse String Java Basics - Anfänger-Themen 32
R Input/Output Frage zu Java IO Java Basics - Anfänger-Themen 6
M Frage zu printWriter Java Basics - Anfänger-Themen 5
KogoroMori21 Frage zum Euklidischen Algorithmus Java Basics - Anfänger-Themen 11
S Verständnis-Frage zu einer HÜ? Java Basics - Anfänger-Themen 1
F Frage betreff Programm mit dem man C++-Code in JAVA-Code übersetzen lassen kann Java Basics - Anfänger-Themen 2
L Frage zur Ticket Maschine Java Basics - Anfänger-Themen 1
J Frage zu OOP-Klassendiagramm Java Basics - Anfänger-Themen 8
OSchriever Frage zu Compiler Java Basics - Anfänger-Themen 8
H Frage zu Throw Exception Java Basics - Anfänger-Themen 2
TimoN11 Frage zu Java-Vererbung (Cast) Java Basics - Anfänger-Themen 5
Bademeister007 Hallo Leute ich hab eine Frage zur ArrayList Java Basics - Anfänger-Themen 8
F Frage betreff Programmierbücher zu Lagerverwaltung als Konsolenprogramm Java Basics - Anfänger-Themen 3
dieter000 Kurze Frage kann mir ejmand kurz diesen Code erklären, bzw wie man die zeilen erklärt und so Java Basics - Anfänger-Themen 1
I String.split regex Frage Java Basics - Anfänger-Themen 2
N Best Practice Frage zum MVC-Pattern Java Basics - Anfänger-Themen 2
dieter000 Frage zu einem Beispiel... Java Basics - Anfänger-Themen 5
J Frage zum Loggen Java Basics - Anfänger-Themen 18
J Methoden Frage: Array-Werte in anderer Methode ändern Java Basics - Anfänger-Themen 4
Zrebna Frage zum "Referenzen-konzept" in Java Java Basics - Anfänger-Themen 8
JD_1998 Array-Position aus einer Methode in einer anderen ausgeben (Kurze Frage) Java Basics - Anfänger-Themen 2
marcooooo Frage zu bestimmten Beispiel Java Basics - Anfänger-Themen 31
NeoLexx equals()-Methode Verständnis Frage anhand Code Beispiel Java Basics - Anfänger-Themen 22
N Input/Output Eine Frage über system.out.println. Java Basics - Anfänger-Themen 10
B Erste Schritte Learning Coding (!) Frage an erfahrene Programmierer. Java Basics - Anfänger-Themen 23
M konzeptuelle Frage: In welcher Klasse definiert man am Besten Methoden, die die Kommunikation mit dem User regeln? Java Basics - Anfänger-Themen 8
B Frage zum Code verständnis im Resultat Java Basics - Anfänger-Themen 10
C Exception-Frage Java Basics - Anfänger-Themen 3
J Eine Frage zur Schreibweise == ? : Java Basics - Anfänger-Themen 3
S Frage des Designs Java Basics - Anfänger-Themen 1
JavaTalksToMe Extends/Implements Frage Java Basics - Anfänger-Themen 3
pkm Frage zu Servletfunktion Java Basics - Anfänger-Themen 0
B Frage zur Währungsumrechnung Java Basics - Anfänger-Themen 3
S Allgemeine Frage über Generics und Vererbungen Java Basics - Anfänger-Themen 5
Kirby.exe Frage zur Verwendung von Interfaces Java Basics - Anfänger-Themen 6
D Frage zu Strings einer Exception Java Basics - Anfänger-Themen 4
L Wie frage ich ab, ob in einem Array, Werte doppelt vorkommen? Java Basics - Anfänger-Themen 4
D Frage zur IDE IntelliJ IDEA Java Basics - Anfänger-Themen 6
H Frage zum 2d Array Java Basics - Anfänger-Themen 1
N Frage zum Newton-Fraktal Java Basics - Anfänger-Themen 1
H Frage zu interfaces Java Basics - Anfänger-Themen 1
J Frage dazu Variablen klassenübergreifend zu verändern Java Basics - Anfänger-Themen 22
I Frage zu SkipList Java Basics - Anfänger-Themen 4
G Frage zu JScrollPane Java Basics - Anfänger-Themen 12
Kirby.exe Allgemeine Frage Java Basics - Anfänger-Themen 3
W Frage zu anonymen Klassen Java Basics - Anfänger-Themen 4
J Kleine Frage zu OOP Java Basics - Anfänger-Themen 371
S Frage Klasse und Objekte Java Basics - Anfänger-Themen 2
F Frage zu Iteratoren Java Basics - Anfänger-Themen 2
C Erste Schritte Frage zur ArrayList Java Basics - Anfänger-Themen 15
J Frage zur Vererbung Java Basics - Anfänger-Themen 1
H Frage zur ermittlung eines doppelte Paars aus Sotieralgorithmus Java Basics - Anfänger-Themen 4
H Frage zum Array Java Basics - Anfänger-Themen 17
G Schach -Frage 2- Maussteuerung Java Basics - Anfänger-Themen 7
G Schach in Java - Allgemeine Frage zur Architektur Java Basics - Anfänger-Themen 7
B Fachliche Frage bei Rechnungen Java Basics - Anfänger-Themen 16
B Frage zu: String... strings -> Ungleiche Anzahl an Parameter? Java Basics - Anfänger-Themen 4
B Frage zu Datenbank Design - Rechnungen, Angebote... und deren Positionen Java Basics - Anfänger-Themen 4
H Frage zu Parameter einer Methode Java Basics - Anfänger-Themen 2
H Einfache Frage zur Punktnotation objektname.methode(wert) Java Basics - Anfänger-Themen 2
H Frage zu Parameter einer Methode Java Basics - Anfänger-Themen 3
H Frage zur if-Bedingung bzw switch case Java Basics - Anfänger-Themen 6

Ähnliche Java Themen

Neue Themen


Oben