In den letzten Posts habe ich ja das neue ChatGPT o1-preview Modell getestet. Konkret habe ich Aufgaben der Eidg. Höheren Fachprüfung für Expert*innen in Rechnungslegung und Controlling 2021 eingegeben – Die Erstellung einer Plan-Erfolgsrechnung, Plan-Bilanz und Plan-Mittelflussrechnung.
🎯Ergebnis? Mit nur einem kleinen Fehler (ChatGPT hat den Bankkredit mit Kontokorrent-Charakter nicht positiv werden lassen), hat das Modell die Aufgabe korrekt gelöst. Nach einer Nachkorrektur war das Ergebnis sogar 100% richtig! Einfach beeindruckend 💡
Nun wollte ich es wissen: Wie schneiden überhaupt die alten Modell ChatGPT-4 und ChatGPT 4o sowie das kleinere ebenfalls neue Modell ChatGPT o1-mini im Vergleich zu dem wirklich starken neuen Modell o1-preview bei den gleichen Aufgaben ab?
Ich habe allen Modellen die gleiche identische Aufgabe eingegeben.
Resultate:
🔄ChatGPT o1-preview:
Wieder der identische kleine Fehler (Kontokorrent nicht negativ), aber diesmal hat es die Plan-Bilanz korrekt auf seine falsche Annahme angepasst. 🔥 Verbesserung oder Zufall? Das bleibt offen... Mit einer kleinen Intervention verbessert sich ChatGPT wieder und die Lösung stimmt zu 100%. Es ist einfach beeindruckend!
🔄ChatGPT-4:
Nur ca. 50% der Positionen in der Erfolgsrechnung sind korrekt. Die Plan-Bilanz enthält nur Aktiven und Passiven und keine Detail-Positionen und die Plan-Mittelflussrechnung? Leider keine einzige Zahl stimmt. 🚫
🔄ChatGPT 4o:
Erfolgsrechnung und Bilanz sind zu etwa 50% korrekt, aber die Plan-Mittelflussrechnung ist komplett daneben. Zudem mühsame Balken in den Tabellen, die die Übersicht erschweren. Das Jahr 1 wird konsequent ignoriert und ich schaffe es auch nicht, dass er mit Aufforderungen anzeigt. ⛔️
🔄ChatGPT o1-mini: 🎯
Die Plan-Erfolgsrechnung ist fast richtig, nur die Berechnung der Fremdkapitalzinsen in der ER führt zu noch grösseren Abweichungen in der Bankkredit-Position bereits ab Jahr 2 und somit auch zu einem grösseren Fehler in der Plan-Bilanz. Die Plan-MFR hat entsprechend zwar Abweichungen, aber auch nur wegen des Zinsfehlers in der Erfolgsrechnung.
💡 Fazit:
- Selbst das o1-mini Modell liefert bereits beachtliche Ergebnisse. Nicht ganz so gut wie das neue grosse o1-preview-Modell 🚀
- Spannende Frage: Hat das o1-preview Modell vielleicht schon dazu gelernt? 🧐 Oder war es reiner Zufall, dass es sich im Vergleich zum letzten Test verbessert hat? 🤔
Herzlichst, Roman Kalberer
