Im Juli 2021 hat die TU Berlin die San Francisco Declaration on Research Assessment (DORA) unterzeichnet (Pressemitteilung TU Berlin 05.08.2021). Damit schließt sie sich einer weltweiten Bewegung an, die eine Veränderung bei der Evaluation wissenschaftlicher Forschungsergebnisse anstrebt. In der Erklärung wird gefordert, dass die Methoden zur Evaluation des Forschungsoutputs verbessert werden müssen und gibt auch entsprechende Empfehlungen an die Forschenden und wissenschaftliche Einrichtungen weiter.

Entstanden ist die Erklärung auf einer Tagung der American Society for Cell Biology in San Fransisco im Dezember 2012. Verlage und Forschende hatten zum Ziel, bestehende Probleme bei der Evaluation von Forschungsergebnissen zu adressieren und öffentlich zu machen. Seitdem haben 17.775 Einzelpersonen und 2.252 Organisationen die Erklärung unterzeichnet (Stand 23.7.2021).

Evaluation von Forschungsergebnissen in der Kritik

Im Zentrum der Kritik steht der Journal Impact Factor (JIF), welcher ursprünglich entwickelt wurde, um die Relevanz einer Zeitschrift in einem bestimmten Themengebiet zu ermitteln. Wird der JIF allerdings verwendet, um Aussagen über die Qualität einzelner Artikel zu treffen, so ist dies nachweislich fehlgeleitet. Die Überbewertung der JIF bei der Evaluation von Forschenden oder auch Institutionen hemmt auch die Entwicklung von Open Science, da für Forschende die Publikation in hochgerankten Journals angestrebt wird, ohne dass berücksichtigt werden muss, ob der Artikel Open Access publiziert wird oder ergänzende Forschungsdaten mit publiziert werden.

Neben der Überbewertung des JIF werden in wissenschaftlichen Institutionen weitere Methoden bei der Bewertung von Forschenden oder deren Publikationen angewendet, die sich letztlich negativ auf beispielsweise Besetzungsverfahren auswirken können, wie der sogenannte Halo-Effekt. Dabei wird bei einem Besetzungsverfahren vor allem auf herausragend erscheinende Attribute geachtet, wie die Zusammenarbeit mit einem Nobelpreisträger oder die Anzahl der Publikationen in hochgerankten Journals. Die Gefahr dabei ist, dass Forschende bei Besetzungsverfahren bevorzugt werden, die aus besonders prestigeträchtigen Einrichtungen stammen, ohne die eigentliche inhaltliche Qualität ihrer Arbeit, und die der Konkurrenten zu beurteilen.[1]

Lösungsansätze und Alternativen

Ein wichtiger Ansatz bei der Verbesserung gängiger Evaluationspraktiken ist die Aufklärung von Forschenden über bestehende Missstände und Mythen. In dieser übersichtlichen Zusammenstellung von DORA werden fünf gängige Mythen erläutert, die das derzeitige Evaluationssystem bestimmen, wie beispielsweise: Der JIF und andere journalsbasierte Metriken messen Forschungsqualität. Dieses und vier andere Mythen werden widerlegt und es werden Möglichkeiten aufgezeigt, wie Forschung anders bewertet werden könnte. Dabei müssen Besetzungsverfahren grundsätzlich überdacht werden und mehr kommunikative und kooperative Strategien eingesetzt werden, um einzelne Forschende und ihren Output zu beurteilen.

Dass die Wissenschaft selbst und auch deren Bewertung wieder stärker an kooperativen, anstatt von kompetitiven Prozessen ausgerichtet werden muss, hat auch die Europäische Kommission in dem Dokument „Evaluation of Research Careers fully acknowledging Open Science Practices“ betont.

Forschende an der TU Berlin

In Deutschland haben bisher 35 Einrichtungen die DORA-Erklärung unterzeichnet, darunter auch die Deutsche Forschungsgemeinschaft. Auch im Kontext der Berlin University Alliance wird insbesondere im Objective 3 (Advancing Research Quality and Value) an der Entwicklung neuer Bewertungsverfahren geforscht.

Die Unterzeichnung der DORA-Declaration ist ein weiterer Schritt, um die Diskussion zu den genannten Fragestellungen an der Universität zu befördern. Was bedeutet dies für TU-Angehörige?

Vor allem soll die kritische Auseinandersetzung mit bestehenden Bewertungsverfahren an der TU Berlin anregt werden. Dabei kann auf bestehende Informationsmaterialien zurückgegriffen werden. Diese sind natürlich auf der Webseite von DORA zu finden, sowie Präsentationsfolien, die auch für die Weiterbearbeitung und –verwendung zur Verfügung gestellt werden.

[1] https://www.natureindex.com/news-blog/rethinking-research-assessment-source-bias-institutions