„Can LLMs Generate Novel Research Ideas?” fragen Chenglei Si, Diyi Yang und Tatsunori Hashimoto von der Stanford University in einem neuen Preprint, das Ergebnisse einer Studie mit über 100 Forscher:innen aus dem Bereich des Natural Language Processing (NLP) vorstellt.
Die Studie untersucht, wie Large Language Models (LLMs) Forschungsideen generieren und vergleicht diese mit den Ideen von menschlichen Expert:innen. Die Ergebnisse zeigen, dass LLMs neuartige Ideen hervorbringen können, die statistisch als neuartiger bewertet werden, als die von menschlichen Expert:innen. Allerdings gibt es leichte Einschränkungen in Bezug auf die Umsetzbarkeit.
Was können wir aus dieser Forschung bezüglich Kreativität und deren Potenzial in Bereichen auch außerhalb der NLP lernen:
- Kreativität in LLMs: Die Studie zeigt, dass LLMs kreative und neuartige Ideen generieren können, was die Annahme stützt, dass Kreativität keine ausschließlich menschlich Fähigkeit ist. In den Ludwigsburger Beiträgen zur Medienpädagogik habe ich dazu einen ausführlichen Artikel veröffentlicht.
Die Studienergebnisse unterstreichen die Bedeutung von LLMs als Werkzeug für Brainstorming und Ideenfindung in verschiedenen Bereichen, auch in anderen Wissenschaften, Technik, Design und mehr, in denen Innovation und neue Ansätze von Bedeutung sind. - Einschränkungen bei der Umsetzbarkeit: Während LLMs oft neuartige Ideen generieren, werden diese in Bezug auf die Umsetzbarkeit als etwas schwächer bewertet. Dies deutet darauf hin, dass LLMs zwar innovative Perspektiven bieten, menschliche Expertise jedoch weiterhin notwendig ist, um die praktische Umsetzung dieser Ideen zu bewerten.
- Mensch-KI-Zusammenarbeit: Die Studie hebt die Wirksamkeit der Zusammenarbeit zwischen Mensch und KI hervor, bei der die Kombination menschlicher Bewertungen mit von KI generierten Ideen zu noch besseren Ergebnissen führt (Stichwort: Komplementarität). Dies deutet darauf hin, dass KI-Tools auch in anderen Bereichen die menschliche Kreativität ergänzen können, indem Menschen KI-generierte Ideen verfeinern, neu bewerten oder darauf aufbauen, um praktische und innovative Lösungen zu entwickeln.
- Einschränkungen in Bezug auf Ideenvielfalt: Eine Einschränkung der LLMs, die in der Studie festgestellt wurde, ist der Mangel an Vielfalt in den generierten Ideen, was möglicherweise auf ein Risiko der Homogenität bei kreativen Outputs in anderen Bereichen hinweist. Diese Einschränkung verlangt nach weiterer Forschung, wie die Vielfalt in KI-generierten Inhalten verbessert werden kann, sei es in der wissenschaftlichen Forschung, der Produktentwicklung oder den Künsten.