Das neue ChatGPT-Modell o1-preview soll vor allem in der Mathematik erhebliche Fortschritte gemacht haben. Wie ich selbst schon festgestellt habe, waren Zahlen bisher nicht wirklich die Stärke von ChatGPT, etwas was bei uns in der Buchhaltung und im Controlling halt schon sehr wichtig ist 😁.
Um das zu testen, habe ich dem neuen Modell eine doch nicht ganz einfache Aufgabe aus der eidg. höheren Fachprüfung 2021 für Expertin/Experte in Rechnungslegung & Controlling gestellt. Diese Aufgabe erforderte nicht nur eine inhaltliche Analyse, sondern auch das Lesen und Interpretieren einer Bilanz und Erfolgsrechnung sowie eine konkrete Berechnung.
🤖 Da ich beim neuen Modell noch keine Dateien hochladen kann, habe ich die Aufgabe inklusive Bilanz, Erfolgsrechnung und Fragestellung einfach aus dem PDF kopiert und eingefügt. Bei der Bilanz- und Erfolgsrechnung als Tabelle mitunter ja mit einer möglichen Fehleranfälligkeit.
📋 Aufgabenstellung im Überblick:
Frage 1: Analyse der angefangenen Arbeiten: Kommentieren der Entwicklung der angefangenen Arbeiten und Erklärung des buchhalterischen Effekts auf das Betriebsergebnis 2020.
Frage 2: Auswirkung auf das Ergebnis: Berechnung des Ergebnisses unter der Annahme, dass die Bestandsänderung bei den angefangenen Arbeiten Null gewesen wäre und alle Projekte abgeschlossen und fakturiert worden wären.
💡 Ergebnisse von ChatGPT:
Frage 1: ChatGPT hat die erste Frage aus meiner Sicht recht gut beantwortet und den Effekt der angefangenen Arbeiten auf das Betriebsergebnis richtig analysiert. Was mich hier immer wieder beeindruckt, dass ChatGPT die Aufgabenstellung selber findet und das alles in den richtigen Kontext bringt. Es ist wirklich beeindruckend.
Frage 2: Auch der zusätzliche Bruttogewinn aus den angefangenen Arbeiten wurde korrekt berechnet. Da war ich wirklich schon erstaunt! Bei der Anpassung der Steuern hat das Tool dann jedoch einen kleinen Denkfehler gemacht. Ich denke in der Prüfung hätte ChatGPT doch eine hohe Punktzahl erreicht. Trotz mehrmaligem "Ping Pong" konnte ich den Fehler mit den Steuern nicht korrigieren. Doch das Aufzeigen des Lösungswegs ist aus meiner Sicht dann wieder sehr beeindruckend.
🎯 Fazit: Ich finde es wirklich schon richtig beeindruckend, wie gut ChatGPT 4o1 preview selbst anspruchsvolle, reale Prüfungsaufgaben meistert.
Herzlichst, Roman Kalberer
