Die Möglichkeiten von ChatGPT oder auch Claude sind schon beeindruckend – doch für den Setup im Finanzwesen oder auch ganz allgemein aufgrund von Datenschutz und vertraulichen Daten vielfach schlicht nicht wirklich einsetzbar🛠️.
Mein Experiment oder eine mögliche Lösung: das Llama 3.2 Modell als Alternative zu ChatGPT, Claude und Gemini lokal auf meinem „normalen“ ASUS Laptop installieren, anschliessend lauffähig ohne Verbindung zum Internet und daher sicher und datenschutz-konform.
Schon länger hatte ich vor, diese Open-Source-KI-Option auszuprobieren, und jetzt endlich habe ich dafür Zeit gefunden! Denn nur was ich selber testen kann, dem glaube ich auch wirklich. Der Hype um KI ist zum Teil unerträglich! Und kann ich so etwas wirklich selber installieren?
Mit einem YouTube-Tutorial als Starthilfe ging’s los – Docker, Ollama, und OpenWebUI auf meinem Laptop installiert. Erste Schritte liefen gut, aber irgendwann bin ich mit dem Video an Grenzen gestossen.
An diesem Punkt hat mir ChatGPT weitergeholfen: Mit Print-Screens und Fehlermeldungen konnte ich ChatGPT nach und nach zu Rate ziehen – und siehe da: Zusammen mit ChatGPT habe ich Llama 3.2 wirklich relativ schnell auf meinem Laptop zum Laufen gebracht!
Die Nutzung des Llama-Modells? Ähnlich wie bei ChatGPT in einem Chat, allerdings eher wie der VW Käfer neben einem Ferrari, obwohl ich noch nie wirklich in einem Ferrari gesessen bin. Aber ich stelle mir vor, dass es sich so anfühlen könnte. 😅 Dabei muss man sagen, dass ich aufgrund meiner begrenzten Leistung mit meinem Laptop nicht das beste Modell von Llama installiert habe. Aber auch das aktuell beste Modell von Meta lässt ohne weitere Installationen keine für uns so wichtige umfangreichen Datenanalyse zu. Die Hardware spielt notabene auch eine grosse Rolle.
Zu ganz allgemeinen Fragen, brachte Llama 3.2 aber wirklich durchaus brauchbare Antworten. Das hat mich doch recht beeindruckt.
Ich habe dann den Laptop noch vom Internet getrennt und das Modell hat wirklich weiter funktioniert und geantwortet! Ich verstehe daher bestens, dass viele Unternehmen jetzt aufgrund der lokalen Lauffähigkeit mit diesen Open-Source-Modellen prüfen KI sicher ins Unternehmen zu bringen und ich gehe davon aus, dass auch diese Modelle zukünftig immer noch leistungsfähiger und besser werden.
Wer von euch hat ähnliche Erfahrungen mit Open-Source-Modellen gemacht?“
Herzlichst, Roman Kalberer
