Sprachmodelle sagen Ergebnisse sozialwissenschaftlicher Experimente erstaunlich gut voraus

Wenn Sozialwissenschaftlerinnen und Sozialwissenschaftler verstehen wollen, was Menschen zum Umdenken oder zu anderem Verhalten bewegt, führen sie Experimente mit echten Teilnehmenden durch – eine Arbeit, die viel Zeit und Geld kostet. Eine neue Studie in Nature legt nahe, dass große Sprachmodelle einen Teil dieser Last verringern könnten, indem sie im Voraus vorhersagen, wie solche Experimente wahrscheinlich ausgehen.

Ein Team unter Leitung der Harvard-Psychologin Ashwini Ashokkumar stellte gemeinsam mit Mitarbeitenden aus Stanford ein Archiv aus 70 präregistrierten, national repräsentativen Umfrageexperimenten aus den USA zusammen – 469 gemessene Effekte bei fast 120.000 Teilnehmenden. Sie baten GPT-4, zu simulieren, wie repräsentative Stichproben von US-Amerikanern auf die Botschaften und Fragen jedes Experiments reagieren würden, und verglichen die Schätzungen des Modells anschließend mit den tatsächlichen Ergebnissen.

Die Vorhersagen bildeten die realen Treatment-Effekte eng ab und erreichten eine Genauigkeit, die der gebündelter menschlicher Prognosen ähnelte. Der Zusammenhang hielt sogar bei Studien, die erst nach dem Trainingsstichtag des Modells erschienen – die es also nicht auswendig gelernt haben konnte – sowie bei mehreren bekannten Modellen mit offenen Gewichten. In einem schwierigeren zweiten Archiv aus 15 „Megastudien" mit 606 Effekten sank die Genauigkeit, blieb aber vergleichbar mit der von Fachleuten.

Die Autorinnen und Autoren sind vorsichtig, was dies zeigt und was nicht. GPT-4 konnte gut einordnen, welche Maßnahmen besser wirken würden, überschätzte aber systematisch, wie groß die Effekte ausfallen – oft um rund das Doppelte. Ein Modell, das Reaktionen vorhersagt, betonen sie, verstehe damit noch keine Menschen; „synthetische Befragte" seien kein Ersatz für echte Bevölkerungen, und die Genauigkeit schwankte etwas zwischen demografischen Gruppen.

Ein Werkzeug zum Planen, nicht zum Ersetzen

Die Forschenden, die zudem 460 Sozialwissenschaftlerinnen und -wissenschaftler zu wahrscheinlichen Anwendungen und wahrgenommenen Risiken befragten, verstehen die Modelle als Ergänzung der Forschung, nicht als deren Ersatz. Günstige Prognosen könnten Pilotstudien leiten, bei der Auswahl der vielversprechendsten Maßnahmen helfen und Befunde markieren, die am dringendsten repliziert werden müssen – und knappe menschliche Arbeitskraft dorthin lenken, wo sie zählt. Bezeichnenderweise schlug die Kombination aus Modell- und Menschenprognosen jede der beiden Quellen für sich. Eine öffentliche Demo unter treatmenteffect.app lässt Forschende den Ansatz selbst ausprobieren.

Ebenso deutlich benennt das Team die Risiken – vom Reproduzieren dominanter Muster in den Trainingsdaten bis hin zur Hilfe beim Optimieren überzeugender, aber schädlicher Botschaften – und fordert Schutzmaßnahmen, die über das bloße Blockieren offensichtlicher Eingaben hinausgehen. Mit diesen Grenzen im Blick, so die Forschenden, könnten Sprachmodelle zu einem wirklich nützlichen neuen Instrument im Werkzeugkasten der Sozialwissenschaft werden.