KI mit Spring Boot

[OnDemand]

Hallo zusammen,

ich würde mir gern eine KI auf einer eigenen VM installieren, muss kein ChatGpt sein, würde reichen wenn ich der Texte gebe und die schreibt sie um.

Zb gebe ich ihr eine Artikelbschreibung einer Bohrmaschine und sage:

"schreib die Beschreibung um, und nutz das Keyword "kabellose Bohrmaschine", schreib die Beschreibung für Laien"

so irgendwie also nix gewaltig großes (oder ist das schon gewaltig?)

Hat jemand sowas in der Art schon mal umgesetzt? Würde das überhaupt funktionieren? Die großen KI anbieter fallen aus, weil die Abrechnung nach Token sehr teuer wäre. Hab von KI nicht wirklich Ahnung, brauch nur ne API einen Input und Output, mehr will ich damit dann eigentlich gar nicht zu tun haben 😛

 

[thecain]

Ein Server wird ggf auch sehr teuer bzw. ich weiss ja nicht, was für dich sehr teuer ist...

Brauchst sicher 10GB plus an Ram und ggf eine Grafikkarte, wenn die Performance halbwegs passen soll.

Llama wäre ein Modell, dass du selber deployen könntest. Ich würde aber sagen, abbrechnung pro token wird günstiger sein, ausser du hast irgendwo ein paar richtige Maschinen im Keller stehen...

 

[Ullenboom]

Ja, das ist relativ einfach. Du installierst Ollama mit einem Modell wie llama (Übersicht https://ollama.com/library), dann verbindest du das mit Spring AI (https://spring.io/projects/spring-ai) oder mit langchain4j. Die Homepage von Spring AI zeigt direkt ein Beispiel:

@Bean
public CommandLineRunner runner(ChatClient.Builder builder) {
    return args -> {
        ChatClient chatClient = builder.build();
        String response = chatClient.prompt("Tell me a joke").call().content();                           
        System.out.println(response);
    };
}

 

[OnDemand]

Vielen Dank. Ich gehe von einer hohen Nutzung aus, da wird so ne poplige VM wohl an Ihre Grenzen kommen. Gut dann bin ich schon mal einen Schritt weiter, dann nutzen wir eine der großen KIs. Nun muss ich mal versuchen irgendwie die Kostenstrukturen richtig zu kapieren. Wenn ich den Usern zb anbiete, dass sie ChatGPT nutzen und die jagen dort hundertausende Zeichen hoch um die umschreiben zu lassen, dann ist das Tokenvolumen sicher recht zeitig aufgebraucht.

Hab mir die ganzen API noch nicht angeschaut muss ich sagen, aber ich schätze mal, dass man die verbrauchten und verfügbaren Token abrufen kann. Wenn die aufgebraucht sind, kann man bestimmt nachbuchen. Ersten Recherchen zur Folge, scheint Deepseek die günstigste Lösung zu sein. (Mache mir da weniger gedanken ob China oder nicht, da die Daten was die KI verarbeitet ohnehin offen überall im Internet stehen, sind keine persönlichen Daten die da verarbeitet werden).

Zu Auswahl hab ich jetzt mal Mistral (EU Unternehmen, würd ich gern unterstützen), DeppSeek, ChatGPT, Claude und Gemini. Die werd ich mal versuchen irgendwie preislich zu sortieren was wie viel kostet.

 

[LimDul]

KI braucht vor allem GPU RAM, man kann sich da entsprechende VMs auch mieten, aber günstig ist das dann auch nicht

 

[OnDemand]

Hab jetzt mal Deepseek bemüht und die API in Postman benutzt. Hab da eine Beschreibung eines Artikel hingeschickt und es gebeten mir die Beschreibung umzuschreiben mit ein paar Anweisungen. Die Aufgabe hat 25 Sekunden gedauert und 760 Token verspeist.

Wenn ich jetzt mal übertreibe und 10.000 Produkte umschreiben lassen will sind das um die 8mio tokens, wenn ich im Schnitt 800 token pro Beschreibung rechne. Dürften laut Deepeek-Chat um die 20$ sein. Gibt auch Rabatt wenn man es nachts nutzt, dann kostet es sogar 50% weniger. Glaube das ist preiswerter als ne eigene KI 🙂

Nun möchte ich den Chat in mein Programm integrieren sodass meine User damit arbeiten können. Im Prinzip könnte man es sich vorstellen, dass jeder User ein Autohaus ist, welches Fahrzeuge auf dem Hof hat für den Verkauf. Nun haben sie von den Herstellern Datenblätter/Beschreibungen der Ausstattung, technische Details usw, teilweise aber in schlechter Verfassung. Diese Beschreibung soll der User nun von der KI verbessern lassen.

Jetzt stellt sich mir die Frage; sollte jeder User sich selber bei DeepSeek anmelden und dann seinen Key in der Software hinterlegen oder wäre es schlauer, wenn ich als Anbieter unseren API Zugang nutze und dem User die Nutzung in Rechnung stelle.

Bei letzter Variante kommt man evtl an RateLimits wenn mehrere User das nutzen, erste Variante macht es für den User umständlicher da er sein Guthaben da verwalten müsste, hätte aber den Vorteil dass wenn jemand nicht Deepseek nutzen will, wir auch ne andere KI nutzen könnten.

Wenn ich da an andere Systeme denke wie zb irgendwelche Wordpress Plugins, gehen die mit der Variante 2. Macht glaube auch in meinem Fall am meisten Sinn oder?

 

[sascha-sphw]

Ich biete, in einem meiner Tools, beides an. Der User kann sich dann selbst entscheiden ob er entweder seinen eigenen API Key nutzt, oder ich die Anfrage über meinen stelle. Bei letzterem hat er dann aber ein Kontingent, das ich mit den benötigten Token der Anfrage verrechne. DeepSeek / ChatGPT gibt Dir die Info unter usage im Response.

 

[Ullenboom]

Nun möchte ich den Chat in mein Programm integrieren sodass meine User damit arbeiten können. Im Prinzip könnte man es sich vorstellen, dass jeder User ein Autohaus ist, welches Fahrzeuge auf dem Hof hat für den Verkauf. Nun haben sie von den Herstellern Datenblätter/Beschreibungen der Ausstattung, technische Details usw, teilweise aber in schlechter Verfassung. Diese Beschreibung soll der User nun von der KI verbessern lassen.

Da hast du bei Deepseek Glück, dass keins der Autos bisher „Tiananmen“ oder „Uyghurs“ heißt 🙂

 

[OnDemand]

Ich biete, in einem meiner Tools, beides an. Der User kann sich dann selbst entscheiden ob er entweder seinen eigenen API Key nutzt, oder ich die Anfrage über meinen stelle. Bei letzterem hat er dann aber ein Kontingent, das ich mit den benötigten Token der Anfrage verrechne. DeepSeek / ChatGPT gibt Dir die Info unter usage im Response.

Danke das find ich sehr spannend.

Angenommen der User will es über mein Kontingent machen, wie rechnest du das mit dem Kunden ab? Lädt er bei dir ein Guthaben auf was er dann verrauchen kann oder hast du das Kontingent schon irgendwo eingepreist?

Die Idee find ich eigentlich super, ist userfreundlich und recht schnell umzusetzen. Besten Dank, mehr Input ist sehr willkommen