Das Wort „repräsentativ“ wirkt nach außen wie ein Glaubwürdigkeitssiegel: Repräsentative Umfragen gelten als seriös, ihre Ergebnisse als aussagekräftig. So, als würden sie die Bevölkerung repräsentieren eben.

Bei den Profis allerdings ist der Begriff längst nichts mehr wert. Einige Wissenschaftler:innen raten mittlerweile sogar davon ab, Umfrageergebnisse überhaupt als „repräsentativ“ zu bezeichnen. Der Grund: Es gibt keine wissenschaftliche, allgemeingültige Formel, um Repräsentativität wirklich zu berechnen. Sie lässt sich also nicht eindeutig messen. Gerade bei Online-Befragungen ist sie deswegen zweifelhaft.

Anders als häufig angenommen ist die Anzahl der Befragten nur einer von vielen Faktoren, um Aussagen über eine größere Menge Menschen treffen zu können. Der Presserat hat deswegen extra eine Klausel formuliert: Bei Artikeln über Umfrageergebnisse soll neben der Anzahl der Befragten, dem Zeitpunkt der Befragung, dem Auftraggeber und der Fragestellung immer erwähnt werden, ob die Ergebnisse repräsentativ sind. Doch selbst wenn diese Informationen angegeben werden, sind sie häufig nicht oder nur wenig aussagekräftig.

Beispiele dafür gibt es viele, das aktuellste ist die jüngst erschienene „Trendstudie“. Sie will „erfassen, wie die 14 bis 29 Jahre alten Angehörigen der jungen Generation in Deutschland auf politische, wirtschaftliche und gesellschaftliche Ereignisse reagieren“ – und zwar seit knapp vier Jahren.

2021 und 2022 wurde sie halbjährlich durchgeführt, ansonsten einmal pro Jahr. Insgesamt gibt es also sieben Versionen. Diese sollen laut Einleitungstext der aktuellen Trendstudie direkt miteinander vergleichbar sein und nun, vier Jahre nach der ersten Erhebung, „vorsichtige Trendanalysen“ ermöglichen.

Viel Echo, wenig Gehalt?

So vorsichtig wirken diese Analysen allerdings nicht – vor allem nicht in den Medien. „Der rechte Vibe verfängt“ , „Eine pessimistische Jugend rückt nach rechts“ und „Junge Generation rückt nach rechts“ sind nur drei Titelzeilen deutscher Redaktionen anlässlich der Veröffentlichung.

Kein Wunder: Immerhin will die Studie herausgefunden haben, dass Jugendliche und junge Erwachsene immer unzufriedener werden und sich der AfD zuwenden. Das ist zumindest eine Erkenntnis, die die Trendstudie liefert.

Gerade weil sie politisch so ein brisantes Bild zeichnet, war die Medienaufmerksamkeit groß. Die „Trendstudie“ wurde im t-online-Podcast sowie den meisten größeren Medien von Spiegel Online bis Wirtschaftswoche besprochen.

In vielen der publizierten Artikel wird die Trendstudie repräsentativ genannt. Das ist nicht verwunderlich, denn die Publikation basiert laut eigener Aussage auf einer „repräsentativen Online-Befragung“ von 2.042 Personen im Alter von 14 bis 29 Jahren.

Wissenschaftler:innen wie Matthias Sand zweifeln diese Repräsentativität jedoch an, sie ließe sich aus wissenschaftlicher Perspektive nicht belegen. Sand forscht am Leibniz-Institut im Bereich der Erhebungsstatistik zu Umfragedesign und -methodik. Das heißt, er prüft beispielsweise, wie man an Befragte kommt und anhand gewonnener Daten Aussagen treffen kann. Die Trendstudie hält er dabei für schwierig.

Viele Menschen, trotzdem nicht repräsentativ

Vorweg: Der Begriff „Studie“ ist nicht geschützt und sagt über die Qualität des Inhalts zunächst nichts aus. Darunter kann also sowohl eine über mehrere Jahre angelegte sozialwissenschaftliche Längsschnittstudie verstanden werden als auch eine Befragung, die innerhalb weniger Wochen per Mausklick zustande kam.

Die Trendstudie basiert auf einer Onlinebefragung, die über ein Online-Access-Panel namens bilendi organisiert wurde und zwischen dem 8. Januar und dem 12. Februar 2024 stattfand. Zwar gibt es verschiedene Funktionsweisen von Online-Access-Panels, viele aber funktionieren folgendermaßen: Sie bestehen aus Menschen, die sich auf einer Plattform angemeldet haben, um meist gegen kleines Geld oder Gutschriften bei Befragungen teilzunehmen. Das ist nicht ungewöhnlich, denn auch in wissenschaftlich angelegten Studien erhalten viele Teilnehmende eine Aufwandsentschädigung, erklärt Sand. Doch bei einem Online-Access-Panel tut sich noch ein ganz anderes Problem auf: Weil sich die Menschen selbst rekrutieren, können die Zahlen in der Trendstudie gar nicht repräsentativ sein.

Repräsentativität nämlich hat Sand zufolge ein wichtiges Grundmerkmal: Alle Menschen, über die Aussagen getroffen werden sollen, müssen theoretisch die Möglichkeit gehabt haben, an der Befragung teilzunehmen. Bei der Trendstudie ist das nicht der Fall, allein schon weil sich die Befragten vorab selbst registriert haben. Sie können also nicht zufällig ausgewählt werden und haben somit nicht die gleiche berechenbare Chance, Teil der Befragung zu werden.

Häufig wird eine hohe Anzahl Befragter für ein Qualitätsmerkmal von Studien gehalten. Bei der Trendstudie haben 2.042 Menschen teilgenommen, die für die 14- bis 29-Jährigen der deutschen Bevölkerung stehen sollen. „Solange nicht klar ist, ob ein Selektionsproblem besteht, sagt diese Zahl nichts aus“, wendet Sand ein.

Der Studienautor selbst, Simon Schnetzer, hält dagegen und weist darauf hin, dass die Selbstselektion bei Zufallsstichproben über Telefonbücher bei einer jungen und internetaffinen Zielgruppe das Ergebnis genauso verzerren könne wie die Zufallsstichprobe eines selbstrekrutierten Online-Panels. „Ein Beweis – sowohl pro als auch contra – wäre sehr schwer anzutreten“, so Schnetzer.

Die Wissenschaften sehen das ähnlich. Nur ziehen sie daraus andere Schlüsse. Statt das Wort „repräsentativ“ weiter zu verwenden, verzichten viele Forscher:innen mittlerweile darauf, eben weil Repräsentativität in einem streng mathematisch-statistischen Sinn nicht existiert, wie Sand erklärt. Er empfiehlt eher, Studien als qualitativ hoch- oder niederwertig einzuordnen.

Schlagzeilen selbst generieren

Online-Access-Panels genießen keinen besonders guten Ruf, wenn sie alleinig wissenschaftliche Erkenntnisse liefern sollen. Neben bilendi stehen auch Unternehmen wie YouGov und Civey immer wieder in der öffentlichen Kritik – genau wie Medien, die solche Services nutzen, um dann damit wieder Schlagzeilen zu generieren.

T-online beispielsweise beauftragt Civey regelmäßig, um dann wiederum über die Ergebnisse der Umfragen zu berichten. Der Gedanke dahinter: die aktuelle Stimmung der Bevölkerung zu aktuellen Themen einfangen.

Für Medium und das Online-Access-Panel scheint das eine Win-win-Situation zu sein. Immerhin kosten solche Panels wenig. Es müssen keine extra Räume oder Personal organisiert werden, weil die Befragung ortsunabhängig stattfindet. Dazu kommt ein geringer Zeitaufwand zur Rekrutierung der Befragten. Doch ob und inwiefern solche Umfragen aussagekräftig für die Stimmung der deutschen Bevölkerung sind, wird immer wieder kritisiert.

Online-Befragungen können eine Vorstufe sein

Sand erklärt, dass es durchaus Situationen gibt, in denen Online-Access-Panels der Wissenschaft dienlich sind: „Als Vorstufe einer wissenschaftlichen Erhebung lassen sich erste Thesen durch Online-Access-Panels kostengünstig und schnell auf Schwachstellen testen“, so Sand. Sie müssten anschließend aber in einer großen Zufallsstichprobe geprüft werden.

Sand sagt auch: „Eine Studie ausschließlich auf Online-Access-Panel-Befragungen zu stützen und anhand dieser Daten etwas über tatsächliche Einstellungen und Meinungen aussagen zu wollen, halte ich für schwierig. Solche Fälle würde ich nicht als repräsentativ bezeichnen.“

Wichtig für Repräsentativität sei nämlich auch, dass die Befragten ein kleineres Abbild der Grundgesamtheit bilden. Diese Gesamtheit hat viele verschiedene Merkmale: vom finanziellen Status bis zur Geschlechterverteilung.

Gerade wenn etwas über einen großen Teil der Bevölkerung ausgesagt werden soll, geht es also nicht unbedingt darum, wie viele Menschen gefragt wurden – sondern ob wirklich alle mit bestimmten Charakteristika in der Befragung vorhanden waren. Diese Wahrscheinlichkeit muss man berechnen können, bei Online-Access-Panels geht das aber nur eingeschränkt.

Schwachstelle Internet

Offensichtlich wussten die Autoren der Trendstudie um diese Komplikationen. Denn im Methodenteil heißt es, die Quoten für die Repräsentativität der Studie seien vom Institut für Demoskopie Allensbach erstellt worden. Die Idee einer solchen Quotierung ist, dass verschiedene demografische Gruppen innerhalb einer Erhebung auftauchen.

Das klingt zunächst professionell, löst aber das Problem der Repräsentativität nicht, wie Sand erklärt: „Auch eine nachträgliche Quotierung kann den Fakt der fehlenden Zufallserhebung nicht heilen.“

Denn Quotierungen innerhalb von Online-Panels haben eine große Schwachstelle. Einige Menschen sind online besser zu erreichen als andere – weil sie im Homeoffice arbeiten oder internetaffin sind. Deswegen kann es passieren, dass bestimmte Gruppen in den Erhebungen nicht auftauchen, einfach weil sie nicht zum richtigen Zeitpunkt online waren.

Das führt dann dazu, dass bestimmte Bevölkerungsgruppen nicht berücksichtigt werden. Mit diesem Vorwurf konfrontiert, weist auch Schnetzer darauf hin, dass eine kritische Betrachtung der Zusammensetzung von Online-Panels grundsätzlich geboten sei. Denn wie bei allen anderen Erhebungsmethoden auch, so Schnetzer, beruhe diese auf der freiwilligen Teilnahme.

Kann eine Quote es richten?

Gerade deswegen, so Schnetzer, seien auch bei der Trendstudie Quoten für Merkmale wie Alter, Geschlecht, Bildung, Elternbildung, Migrationshintergrund angewendet worden, „um ein möglichst genaues, ein quoten-repräsentatives Abbild der Gesamtbevölkerung zu zeichnen“.

Doch möglichst genau ist eben noch immer nicht ganz genau und gerade bei einer Selbstrekrutierung erstmal eine Behauptung. Sand findet: „Eine Quotensteuerung ist immer schlecht, vor allem, wenn bevölkerungsstatistische Aussagen getroffen werden sollen.“ Im Falle der Trendstudie geht es explizit um die Gruppe von 14- bis 29-Jährigen.

Alle drei der Studienautoren haben einen akademischen Hintergrund. Ein renommierter Wissenschaftler der Berliner Hertie School, Klaus Hurrelmann, der häufiger zum Thema publiziert hat, sowie ein Nachwuchswissenschaftler der Universität Konstanz fungierten als Berater „für die inhaltliche und methodische Entwicklung der Studie“. Welche Leistung sie in dieser Funktion konkret erbracht haben, wird allerdings nicht erläutert.

Sand kann deswegen nur mutmaßen: „In der Regel bedeutet methodische Beratung, dass die Fragen im Fragebogen mit den Wissenschaftler:innen abgeklärt wurden, weil man bei der Fragebogengestaltung viele Fehler machen kann.“ Eine weitere Möglichkeit sei, dass sie bei Fragen, wie man Stichproben zieht und wie man später hochrechnet, unterstützt haben.

Bei Schnetzer nachgefragt, schlüsselt er auf, dass sie die Studie als Team die Studie inhaltlich und methodisch gemeinsam entwickeln – „von der Jugendbeteiligung zur Fragenkonzeption, bis hin zu den Trendtalks, um die Ergebnisse auszuwerten und der Erstellung der Pressemitteilung. Alle Autoren arbeiten ohne Honorar“, so Schnetzer.

Gründer, Geschäftsführer, Studienleiter und Auftraggeber

Hauptverantwortlich für die Trendstudien ist jedoch Simon Schnetzer selbst. Online lassen sich direkt etliche Bilder, Social-Media-Accounts und Websites von ihm finden. Auf Keynotes wird er als „führender Jugendforscher Europas“ angekündigt, seine Selbstbezeichnung lautet „Jugendforscher“ und „Futurist“, er arbeitet außerdem als Coach und Unternehmensberater. Offensichtlich berät Schnetzer Arbeitgeber gehobenen Alters, die Probleme damit haben, junge Leute zu verstehen.

Daneben lassen sich auf Google 38 Rezensionen zu Schnetzers Tätigkeit als „Jugendforscher, Speaker, Futurist“ finden. Auf jede davon hat er persönlich geantwortet. Was die Leute dort am besten an ihm finden, sind nicht die Studieninhalte, sondern dass er mit Jugendlichen tatsächlich ins Gespräch geht und offensichtlich herauszufinden versucht, was sie denken. Das zumindest wird häufig erwähnt.

Im Rahmen der „Trendstudie“ ist Schnetzer damit Gründer, Studienleiter, Auftraggeber und Geschäftsführer in einem – und damit direkt abhängig von den Verkäufen der Studie. So klar steht es auch im Text: „Das Trendforschungs- und Beteiligungsformat Jugend in Deutschland wird privat durch den Verkauf der Studien finanziert.“

Schnetzer hat also ein Interesse daran, dass die „Trendstudie“ besprochen und verbreitet wird – immerhin verdient er sein Geld damit. Er selbst sieht das unproblematisch: „Unser Motto für diese Studie ist: Junge Menschen beteiligen und Zukunft gemeinsam gestalten. Solange ich und das Team uns diesem Motto verpflichtet fühlen, sehe ich keinen Rollenkonflikt.“ Vielmehr liest er die ihm gegenüber formulierte Dankbarkeit junger Menschen, Bildungseinrichtungen, Ausbildungsleitungen und Verbänden als positives Zeichen und Bestätigung.

Wissenschaftler Sand hingegen schätzt die vielen Rollen als kritisch ein. Er betont aber auch, dass das nicht per se eine schlechte Qualität der Studie bedeuten muss. Er kennt weitere Befragungen, die privatwirtschaftlich erhoben wurden und deren Ergebnisse wissenschaftlich dienlich waren. Sie könnten in einem weiteren Schritt an unabhängigen Forschungsinstituten oder Universitäten mit größeren personellen und finanziellen Ressourcen weiter beforscht werden.

Nieder mit der Open Science! Oder?

Dabei gibt es aber bei der Trendstudie ein Problem: Wer sie komplett lesen will, muss zahlen. Die günstige Variante mit 108 PDF-Seiten und aufbereiteten Grafiken gibt es für 69 Euro. Die teuerste Version kostet knapp 990 Euro, zuzüglich 19 Prozent Mehrwertsteuer. Sie soll den Studienfragebogen sowie den kompletten Datensatz der Erhebung als Excel-Datei enthalten. Daneben steht der Hinweis: „Verwendung für Forschungszwecke und individuelle Auswertungen“.

Genau diese Version bräuchten Wissenschaftler:innen, um Daten prüfen und weiterforschen zu können. Die 990 Euro bezeichnet Sand als Prohibitivpreis – also ein Preis, der viel zu hoch ist, um wirklich jemanden dazu zu bringen, sich die Sache zu leisten oder leisten zu können.

Deswegen hält Sand die Bezahlschranke für das größte und ärgerlichste Problem der Trendstudie. Sie widerspreche durch die finanzielle Barriere dem Open-Science-Gedanken, den gesamten wissenschaftlichen Prozess offen zugänglich und für andere nutzbar zu machen.

Wissenschaft lebt davon, aufgestellte Thesen immer wieder herauszufordern. Im Interesse der Forscher:innen liegt es deswegen, Ergebnisse immer und immer wieder von unabhängigen Instituten prüfen zu lassen, um mehr über die Welt zu erfahren, in der wir leben. Zwar gibt es Sand zufolge auch akademische Publikationen, die etwas kosten – allerdings gehe dieses Geld an die Journals, in denen Studien nach Prüfung veröffentlicht wurden.

Normalerweise gibt es bestimmte Verfahren, um Studien noch mal auf Qualität und Schwachstellen prüfen, bevor sie der Öffentlichkeit zugänglich gemacht werden. „Ein sogenanntes Peer-Review-Verfahren wäre bei einer wissenschaftlichen Publikation der Fall“, sagt Sand. Das bedeutet, dass unabhängige Fachleute unveröffentlichte Studien vorab nochmal auf Schwachstellen prüfen – eine Art Qualitätsetikett. Durch die hohe finanzielle Hürde der Trendstudie wird das aber schwer umsetzbar, sie dürfte eher Menschen aus der Wirtschaft interessieren.

Geld, Unabhängigkeit, Zeit

Doch gerade diese Unabhängigkeit ist es, die sich Schnetzer wahren will. Mit der Kritik konfrontiert, rechtfertigt er sein Modell und sieht darin gleich mehrere Vorteile:

Erstens Geld, zweitens Unabhängigkeit, drittens Zeit. Er gibt zu bedenken, dass es auch bei Open Science immer ein Bezahlmodell geben müsse. Eine Finanzierung durch Steuergelder rechtfertige, dass die Daten der Öffentlichkeit gehören. Seine Daten hingegen seien aus privater Initiative entstanden, die wichtigsten Ergebnisse gebe es kostenfrei in Form einer Pressekonferenz und im Blog.

„Wer sich für die anderen Ergebnisse interessiert, leistet einen finanziellen Beitrag dazu, dass wir diese Studie weiterführen können“, so seine Begründung. Mit diesem Modell wolle er sich „inhaltliche Unabhängigkeit“ sichern – und sich „auf die Themen junger Menschen aus der Sicht junger Menschen“ konzentrieren. Durch seine Methode könne er schnell auf Entwicklungen reagieren, statt monate- oder jahrelang auf bürokratische Hürden zu stoßen.

Die Befragung hat also ein wirklich wichtiges Anliegen, aber mit Repräsentativität, Transparenz und der Bezahlschranke gleich mehrere Probleme. Auch die Methodik wird nirgends öffentlich detailliert aufgeschlüsselt. Sand sagt deswegen: „Ich kann nicht bewerten, ob sauber gearbeitet wurde oder nicht.“ Mindestens ein frei verfügbarer Methodenbericht sollte selbst bei guten Erhebungen hinter Paywalls gegeben sein, fügt er hinzu. Aber auch hier: Sackgasse.

Schnetzers Motivation ist nicht primär ein wissenschaftlicher Anspruch im Geist der Open Science. Schnetzer hat ein anderes Ziel: jungen Menschen eine Stimme zu geben. Darüber hinaus will er weiter „mit ihnen die Voraussetzungen für ein gelingendes gesellschaftliches Miteinander“ gestalten.

Seine Forschungsergebnisse würden ihm dabei helfen, als Speaker und Arbeitgeber-Coach Verständnis für junge Menschen zu fördern und ein gelingendes Generationen miteinander zu gestalten. Es ist nicht besonders überraschend, dass er für seine Leistung auch Geld verlangt. Das ist sein Geschäftsmodell.

Wissenschaftsjournos an die Newsdesks

Doch in den Medien wird das anders erzählt. Immerhin wird die Studie als repräsentativ gelabelt und weiterhin freudig für die 14- bis 29-Jährigen zitiert, ohne die Probleme eines Online-Access-Panels einzuordnen. Die Frage, ob man überhaupt noch über Umfragen berichten solle, taucht zwar im medialen Diskurs immer wieder auf. Trotzdem werden hieraus aber häufig keine Schlüsse gezogen.

Was wünscht sich ein Forscher wie Sand von Medien? Eigentlich genau das, was im Pressekodex bereits angelegt ist: dass sie bei der Berichterstattung wirklich kritisch prüfen, inwiefern eine Umfrage hoch- oder niedrigwertig ist, sagt er.

Hier fängt aber auch das Problem an. Für Medien, die allein schon ökonomisch abhängig von Klickzahlen sind, ist die Langsamkeit der Wissenschaften manchmal nur schwer auszuhalten.

Gerade brandaktuelle Zahlen und Daten über jüngere Generationen haben Nachrichtenwert und sollen in Redaktionslogiken schnellstmöglich veröffentlicht werden. Doch häufig fehlen an sogenannten Newsdesks, die für aktuelle Nachrichten zuständig sind, Kapazitäten für eine tiefergehende Recherche, gerade wenn die Meldung schnell draußen sein muss und es fachlich anspruchsvolle Begriffe zu prüfen gilt. Hier zu entschleunigen, wäre eine Option.

Fachbegriff leider unbekannt

Dazu kommt ein zweiter Punkt: die mangelnde Kompetenz, wissenschaftliche Studien gewissenhaft zu prüfen. In größeren Redaktionen gibt es zwar Profis in den Wissenschaftsredaktionen – also einzelne Ressorts, die sich mit akademischer Forschung auseinandersetzen und sie für ein größeres, vielleicht nicht-akademisiertes Publikum aufbereiten.

Allerdings fließt die Expertise dieser Redakteur:innen selten in den Newsdesk ein, von dem aus Nachrichten nach draußen gelangen. Diese haben andere Expertisen. Sie wissen zum Beispiel zu bewerten, wann eine Nachricht berichtenswert ist und wie man schnell an wichtige Informationen kommt, um tagesaktuell zu informieren.

Sollten Medien also einfach nicht mehr über Umfragen berichten? So leicht ist es nicht. Auch in der Forschung gehen hier die Meinungen weit auseinander. Die einen halten Artikel über Umfragen für wichtige Stimmungsbarometer der Gesellschaft, für die wissenschaftliche Forschung häufig zu langwierig ist. Eben genau deswegen schlägt ja die „Trendstudie“ so ein. Andere argumentieren, es sei gefährlich, wenn mit fragwürdigen Ergebnissen Politik gemacht werden kann – was heute schon der Fall ist.

Umfragen können Meinungen entstehen lassen

Artikel über Umfragen lassen Meinungen entstehen, sogar das Wahlverhalten können sie beeinflussen. Es gibt in der Wahlforschung beispielsweise die Mitläuferthese: Sie besagt, dass Menschen sich gerne der Partei anschließen, die Aussicht auf Erfolg hat. Wenn Umfragewerte vorherigen Erfolg attestieren, kann dies dazu führen, dass bestimmte Parteien gewählt werden – die Umfragen können somit das Wahlverhalten beeinflussen.

Ebenfalls gibt es die Mitleidthese, die das Gegenteil besagt: dass Wähler:innen schwächelnde Parteien unterstützen wollen. Bisher ist jedoch ungeklärt, wie stark sich diese Effekte wirklich auswirken.

Auch die Trendstudie präsentiert gesamtgesellschaftlich relevante Ergebnisse, gerade im Hinblick auf das bevorstehende Wahljahr – denn selten spricht jemand wirklich mit Jugendlichen statt über sie. Die Idee ist also gut.

Doch es ist wichtig, die Sache so zu benennen, wie sie eigentlich ist: Es geht um eine Befragung, deren Ergebnisse hinter einer Bezahlschranke stehen und die deswegen auch nicht einfach tiefer geprüft werden können. Das wegzulassen, geht zu Lasten wissenschaftlicher Forschung und journalistischer Berichterstattung. Und das zu einem Zeitpunkt, an dem das Vertrauen in beide immer mehr schwindet.