Was bringt ChatGPT im Studium wirklich?

Dazu haben Victoria Geisel, Dennis Gossler, Natasha Randall, Christian Schindler, Nils Stein und Dennis Wäckerle mehrere Lehrmodule an unserer Hochschule als Versuchsobjekte genutzt. Betreut wurden das Projekt von den Professoren Dr. Stefan Bente und Dr. Hartmut Westenberger. Die Studierenden entwickelten verschiedene Studien für fünf verschiedene Lehrfächer, an denen ein Dutzend Professor*innen und mehr als 100 Studierende beteiligt waren.

Im Modul IT-Architecture Management beispielsweise wurden zwei komplett von ChatGPT geschriebene Lösungen unter die echten Ausarbeitungen der Studierenden gemischt. Es lag an dem Dozenten, diese zu erkennen, was in einem Fall für den Informatikprofessor Bente nach eigener Aussage „wirklich schwierig“ gewesen sei. Bestanden hatten die generierten Lösungen schon, qualitativ gut waren seien sie aber nicht gewesen.

Mit ChatGPT theoretisch bestanden

Im Modul Sustainable Development schrieben Studierende eine Hausarbeit über nachhaltige Entwicklung, beispielsweise über das Ende der Braunkohleförderung oder nachhaltige Textilien. Während des Semesters hatten sie sich fachlich mit diesen Bereichen befasst, waren also „im Thema“. Die Mehrheit der Studierenden schrieb die Arbeit ohne KI-Hilfsmittel. Fünf von ihnen durften den Text von ChatGPT schreiben lassen und konnten das Ergebnis dann um ihr eigenes Wissen zu dem Thema modifizieren. Hinzu kamen sechs Hausarbeiten, die von den Studierenden des Masters Digital Sciences eingereicht wurden: Sie hatten keinerlei Hintergrundwissen und ließen ihre Arbeit komplett von ChatGPT schreiben, ohne die Lösung inhaltlich zu prüfen.

Das Ergebnis: In jeder Gruppe haben fast alle bestanden. Neun von elf Studierenden bei den selbstgeschriebenen Texten, drei von fünf bei den von der KI übernommenen und fünf von sechs bei den „fachfremden“ Masterstudierenden ohne Vorkenntnisse. Kumuliert betrachtet bekamen die mit KI geschriebenen Texte etwas schlechtere Noten. Hatten die selbstverfassten Texte im Schnitt eine Note von 2,57, lagen die KI-basierten im Mittel bei 2,8.

ChatGPT hinterlässt Hinweise fürs geschulte Auge

Die Zahlen müsse man unter Vorbehalt bewerten: „Für die Hausarbeiten gab es keine echte Klausurnote, die Teilnahme daran war lediglich Bedingung, um an der Prüfungsleistung teilnehmen zu können“, sagt Studentin Victoria Geisel. „Die Motivation, ihre beste Leistung zu zeigen, war also bei den Studierenden womöglich nicht so ausgeprägt wie in einem Test, bei dem es wirklich um etwas geht.“

Die Professor*innen Dr. Ursula Binder und Dr. Agnieszka Gehringer erkannten aber in den Texten einige Hinweise darauf, wenn eine KI im Spiel war: ChatGPT formulierte wesentlich förmlicher als die Studierenden, die einen anderen Sprachstil und für den Lehrende einen Blick entwickelt haben. „Der Schreibstil von Chat GPT war gut, wenn auch häufig etwas (zu) journalistisch. Die Inhalte waren dagegen häufig nicht aktuell oder spezifisch genug und die Quellenarbeit unzureichend“, lautet das Urteil von Professorin Binder von der Fakultät für Wirtschafts- und Rechtswissenschaften. Die Literaturangaben referenzierten ausschließlich auf englischsprachige Texte, keine Quelle war jüngeren Datums als 2021 und oft fehlten bei den Zitationen die Seitenzahlen.

Gut im Coding, schlecht in Mathe

Wie sich KI-Tools beim Schreiben von Code innerhalb von umfangreichen Softwareprojekten schlägt, wurde im Modul Softwaretechnik erforscht. ChatGPT zeigte beeindruckende Fähigkeiten im Code-Schreiben und konnte sogar komplette Aufgaben selbständig meistern. Schwierigkeiten hatte die KI dagegen bei Aufgaben mit komplexer Logik oder Mathematik. Außerdem nutzte es in den Experimenten häufig schlechte und merkwürdige Praktiken. „Im Programmierkontext sind KI-Tools besonders für Routinetätigkeiten, Code-Umstrukturierung und die Analyse von sogenannten Stack Traces zur Fehlerbehebung empfehlenswert“, sagt Studentin Natasha Randall. „ChatGPT kann den -Schreibprozess für Codes beschleunigen, aber die grundlegende Logik, Herangehensweise und Struktur des Programms sollten die Benutzer*innen festlegen.“

Durch eine fakultätsweite Umfrage unter Studierenden, Mitarbeitenden und Professor*innen konnte ein Einblick in das KI-Nutzungsverhalten von Informatik-/Ingenieurstudierenden an der F10 gewonnen werden. Mit ChatGPT arbeiten viele – zumindest mit der kostenfreien Version 3.5. Andere Tools wie Bing Chat oder Google Bard sind entweder bei vielen noch unbekannt oder werden nicht genutzt. Zum Programmieren, Verfassen von Texten oder die Struktur einer Hausarbeit eignet sich KI gut, für das Lösen mathematischer Aufgaben eher – noch – nicht. „Unsere gesammelten Daten sind allerdings absolute Momentaufnahmen“, sagt Student Nils Stein. „Die KI-Entwicklung geht so schnell, dass wir bereits mit höheren Versionen, z.B. ChatGPT 4.0 wesentlich bessere Ergebnisse erhalten haben. Das Projekt ist sehr agil. Wir wollen damit einen Einblick und einen Erfahrungsbericht liefern und zur Diskussion anregen.“

Mehrheit der Studierenden sieht in KI-Nutzung Zeitersparnis

Denn 75 % der Befragten beurteilen die Nutzung von KI als zufriedenstellend. Die Mehrheit sieht darin eine große Zeitersparnis, sie können mit KI leichter personalisiert lernen und schneller dort in die Details einsteigen, wo sie bei sich persönliche Defizite sehen. 43 % der Studierenden glauben, dass ihre durch KI gelöste Arbeit entdeckt werden kann, bei den Dozenten sind das 33 %. Dass diese bei Klausuren eingesetzt werden dürfen, lehnen die meisten Befragten ab. Sie sollte aber unbedingt in der Lehre verwendet werden – doch unter welchen Bedingungen? Fest steht schon mal: Wer gute Ergebnisse haben möchte, muss gute Prompts, also Befehle schreiben. Und am besten in englischer Sprache. Die Studierenden wünschen sich, dass sie im Studium aktiv auf eine berufliche Welt mit KI vorbereitet und nicht von diesen Technologien ausgeschlossen werden.

Wissenschaftliche Veröffentlichungen

Die Ergebnisse der sechs Masterstudierenden münden gerade in zwei wissenschaftlichen Veröffentlichungen, bei denen die Studierenden Erst-Autoren sind. Eines zum Einfluss von KI auf das Hochschulcurriculum, das andere über das KI-Nutzungsverhalten von Studierenden. Die beiden betreuenden Professoren sind vom Engagement der Studierenden und der Qualität der Arbeiten sehr beeindruckt. „Dass aus den Ergebnissen jetzt wissenschaftliche Veröffentlichungen entstehen, ist idealtypisch für das Masterstudium“, sagt Bente. Wie und mit welchen Bedingungen man KI in der Lehre einsetzen kann, ist dann vielleicht ein Thema für ein neues studentisches Projekt.