Impact in der Wissenschaft und darüber hinaus

Wie wird klassischerweise Erfolg in der Wissenschaft gemessen?

Eugene Garfield stellte 1963 den ‚Science Citation Index‘ vor. Dieser ermöglichte es erstmals, Einfluss und Vernetzung wissenschaftlicher Publikationen systematisch zu erfassen und zeigte Forschenden, wie oft ihre Veröffentlichungen in anderen Publikationen zitiert werden. Das war die Geburtsstunde der Bibliometrie – einem Forschungsgebiet, das sich mit der statistischen Analyse bibliographischer Informationen befasst. „Dabei steht diese Art der Bewertung seit ihrer Einführung auch in der Kritik, da sie eine rein quantitative Betrachtung vornimmt, die keine Aussage über die Qualität einer Veröffentlichung trifft, als solche aber missverstanden werden kann“, erläutert Dr. Dirk Tunger, Projektleiter UseAltMe. Andersherum können nur auf diesem Wege die komplexen Mechanismen des Wissenschaftssystems verstanden werden.

Was sind Altmetrics?

Altmetrics (Zusammengesetzt aus „alternative“ und „metrics“) betrachten ebenfalls die Erwähnung eines wissenschaftlichen Beitrags, berücksichtigen dabei aber sämtliche Social-Media-Kanäle, Tageszeitungen, Blogs, Wikipedia oder politische Strategiepapiere. Oftmals werden die Ergebnisse grafisch dargestellt, etwa als altmetrics donut. Dieser wird derzeit von vielen wissenschaftlichen Verlagen und Institutionen als Marketinginstrument verwendet und hat auch schon Eingang in Dokumentserver oder Online-Archive von Universitäten gefunden. Der Farbcode zeigt dabei an, in welchen Quellen eine Publikation überwiegend zitiert wurde: Je mehr blau er beinhaltet, desto höher war beispielsweise die Aufmerksamkeit auf Twitter.

Der Unterschied zwischen Wissenschaftskommunikation auf klassische Weise und auf Social Media (Bild: TH Köln)

Warum sind Altmetrics überhaupt relevant geworden?

Wissenschaftler kommunizieren nicht mehr nur untereinander über Fachzeitschriften, sondern auch über Soziale Medien und Bookmarkingdienste wie Mendeley, gleichzeitig wirken sie auch in die Gesellschaft in Form von Newsbeiträgen, Videos und Tweets. Der Einfluss von Wissenschaft reicht heute bis in die Politik, was sich zum Beispiel in der Erwähnung von wissenschaftlichen Beiträgen in Policy Papers auswirkt. Das System Wissenschaftskommunikation ist wesentlich vielfältiger geworden, dem tragen Altmetrics Rechnung.

„Diese Veränderung in der Wissenschaftskommunikation wird sich in den kommenden Jahren beschleunigen und eine weitergehende Abkehr von der klassischen Journalpublikation bedeuten. Oder glaubt noch jemand, dass eine Generation, die mit Smartphone, TikTok und YouTube aufwächst, dies nicht auch in die Wissenschaft tragen wird?“, so Tunger. Gerade Nachwuchswissenschaftlerinnen und -wissenschaftler würden diese Kanäle nutzen, um Aufmerksamkeit für ihre Arbeit zu generieren und so einen höheren Impact in der klassischen Wissenschaftskommunikation zu erzielen. „Aber auch viele etablierte Kolleginnen und Kollegen suchen immer öfter nach anderen Wegen, um ihre Arbeit zu erklären und mit der Gesellschaft zu kommunizieren. Mit den Altmetrics gibt es jetzt eine Möglichkeit, dies abzubilden“, sagt Tunger.

Beispiel eines Altmetric-Donuts (Bild: TH Köln)

Hat Bibliometrie damit ausgedient?

„Auf keinen Fall“, betont Tunger. Vielmehr seien Altmetrics als Ergänzung zu verstehen. Was Eugene Garfield einst für Journalveröffentlichungen ermöglicht hat, zeigen Altmetrics in Bezug auf Social Media: Sie erlauben es, die Wahrnehmung von Wissenschaft auf Social Media zu dokumentieren. Somit kann ein Wissenschaftler im Science Citation Index sehen, wer an seinen wissenschaftlichen Arbeiten interessiert ist und mit Altmetrics, wer ihn und seine wissenschaftliche Arbeit auf Social Media wahrnimmt. In einer umfassenden Darstellung von wissenschaftlichem Impact haben beide Systeme ihren Platz.

„In unserem Forschungsprojekt ging es darum, Unterschiede und Gemeinsamkeiten von Altmetrics und Bibliometrie herauszuarbeiten und zu verstehen, welche Funktion sie in der Wissenschaftskommunikation einnehmen“, sagt Tunger. So verwende etwa die Bibliometrie eine klar abgegrenzte Datenbasis, während diese bei Altmetrics nicht rekonstruierbar sei – wenn etwa ein Tweet im sich permanent ändernden Twitter-Stream durch die Analyse rutscht, wird er am Ende auch nicht ausgewertet.

Dennoch sind Altmetrics keine Zufallsprodukte: „Publikationen, die bei einer intellektuellen Relevanzbewertung gut abschneiden, zeigen häufig gleichzeitig auch hohe Wahrnehmungswerte in Bibliometrie und Altmetrics“, so Tunger. Insofern könnten Altmetrics als Frühindikator für den Impact von wissenschaftlichen Veröffentlichungen und Themen gesehen werden.

Wie zahlt sich der höhere Aufwand für Wissenschaftler*innen aus?

Der zusätzliche Aufwand für die Kommunikation in den Sozialen Medien darf nicht unterschätzt werden. In einer im Rahmen von UseAltMe durchgeführten Umfrage gaben Wissenschaftlerinnen und Wissenschaftler an, pro Woche dafür zwischen ein und drei Stunden aufzuwenden – mit zunehmender Tendenz. Altmetrics sollten aber nicht für eine neue Form von Evaluation genutzt werden, es soll nicht jemand belohnt werden, weil er Twitter verwendet hat. Der Benefit liegt im Reputationsgewinn. Wer durch Social Media-Aktivitäten mit seiner Person und seinen Standpunkten der online vertretenden Scientific Community bereits bekannt ist, dessen Publikationen werden auch eher verwendet und zitiert. Möglicherweise nicht, weil diese Publikationen die Allerbesten sind, sondern weil der Aufwand sie zu finden und als relevant einzustufen geringer ist als bei anderen. Die Publikation und die Autorin oder der Autor haben durch Social Media eine gewisse Prominenz erreicht.

Über die Forschung

Das Projekt „Auf dem Weg vom Articlelevel zu aggregierten Indikatoren: Verständnis der Wirkungsweise und Mechanismen von Altmetrics (UseAltMe)“ wurde von Oktober 2019 bis März 2022 am Institut für Informationswissenschaft von Prof. Dr. Simone Fühles-Ubach und Dr. Dirk Tunger durchgeführt und vom Bundesministerium für Bildung und Forschung gefördert.