Manchmal muss man nur die richtigen Fragen gestellt bekommen und mit den richtigen Leuten sprechen, um auf neue Gedanken zum Thema zu kommen.
Fragestellung
Die (absolut berechtigte) Frage an mich war, was macht der Mensch anders als ChatGBT, wir rekombinieren doch auch „nur“. Stimmt, aber eben nur in 99,99999 % der Fälle. In 0,00001 % der Fälle kommt das kreative Element dazu, der Einstein-Blitz bzw. der Newton-Apfel. Vermutlich ist die Zahl der kreativen Neu-Innovationen sogar noch wesentlich niedriger. Vielen Dank, Hubertus, für die interessante Fragestellung.
An- und Einsichten
Im Gespräch komme ich doch immer wieder auf neue An- und Einsichten, so auch in der Diskussion mit Franz Xaver. ChatGBT greift auf bestehendes Datenmaterial zurück und bewertet es statistisch. Spätestens jetzt macht sich eine Fehlentwicklung der letzten Jahrzehnte deutlich bemerkbar.
Zitierhäufigkeit
Im Wissenschaftsbetrieb haben sich zwei Mechanismen des Erfolgs herauskristallisiert, die bei Licht gesehen gar keinen Erfolg darstellen, das wäre zum Einen die Zitierhäufigkeit als Maßstab für die Relevanz von Publikationen. Das ist eine ziemlich janusköpfige Angelegenheit.
Zitierhäufigkeit ist aber leider nicht nur von der Kreativität, der Schöpfungstiefe und sachlicher Richtigkeit abhängig. Zitiert wird nämlich u.a. auch, was:
- häufig wiederholt wird – man denke an „Ceterum censeo Carthaginem esse delendam1“ von Cato dem Älteren
- gut2 aber nicht zwangsläufig wissenschaftlich korrekt geschrieben ist
- polarisierend3 ist, man also auch mit Fachfremden herrlich drüber diskutieren kann
- dem allgemeinen Konsenz nicht übermäßig widerspricht
- Prestige4 bringt, Stichwort auch Expertengläubigkeit
- durch Abhängigkeiten5 erzwungen wird
Nun, das sind ein paar Aspekte, die aufzeigen, dass häufiges Zitieren für eine KI wie ChatGBT eine Fehlbewertung nach sich ziehen kann. Das Ranking ist keinesfalls ein Qualitätssiegel.
Publikation von Positiv-Ergebnissen
Machen wir uns nichts vor, die meisten wissenschaftlichen Arbeiten sind früher oder später zum Scheitern verurteilt. Veröffentlicht werden diese Fehlschläge aber nicht. Lerneffekt daraus? Null!
Das führt nicht nur zum Ignorieren von erbrachten Leistungen, sondern verzerrt auch das Eingangsmaterial für KI-basierte Systeme wie ChatGBT.
Ein Lichtblick ist, dass der Umstand dieser fehlenden Publikationen bereits erkannt wurde und peu à peu im Wissenschaftsbetrieb zum Umdenken führt.
Erwartungshaltung
Was ist unsere Erwartungshaltung an das Werkzeug ChatGPT?
Wie aus den bisherigen Ausführungen ersichtlich ist ChatGPT ein „Summarizer“, ein Werkzeug, dass Informationen zu einer Fragestellung auf Basis bestehendem6 Wissens sammelt, bewertet und in gut lesbarer Form wiedergibt. Summarizing eben.
Dass zufällig durch das Zusammenfassen auch interessante, vielleicht auch neue Aspekte erkennbar werden, würde ich dem Zufallsprinzip zurechnen. Newton’s Apfel war schließlich auch nicht geplant, genauso wenig wie die vergessene Petrischale Flemings.
Was derzeit aber mit ziemlicher Sicherheit gesagt werden kann, ist, das Kreativität im Sinne der menschlichen Schöpfungskraft als Output des Tools ChatGPT erwartet werden darf.
In einem anderen Blogbeitrag habe ich darauf hingewiesen, dass KI immer nur so gut ist, wie die Fragestellungen, die ihr durch Programmierer gestellt werden. Gleiches gilt natürlich auch für ChatGPT. Je besser und differenzierter die Fragestellungen sind, umso hochwertiger ist auch das Ergebnis.
Aussicht ChatGBT 2.0
Für ChatGBT in seiner aktuellen Form wird sich aber daraus vermutlich keine wesentliche Änderung ergeben, da das Quellmaterial ungefiltert und unreflektiert vorliegt und eben die Fehlschläge gänzlich fehlen.
Datenbereinigt könnte ChatGBT in einer Version 2.0 durchaus bessere Rekombinationen mit gewissem Schöpfungsgrad erreichen, die Bewertung der Kreativität und Nutzbarkeit der Ergebnisse obliegt aber nach wie vor dem Menschen. Und so lange bleibt der Satz bestehen, „A fool with a tool, is still a fool.“