Journal Ranking – eine kritische Betrachtung

Erfahren Sie mehr über die Vor- und Nachteile von Journal-Rankings
Redaktion | 30.03.2023 | Lesedauer 4 min

Journal Rankings spielen eine bedeutende Rolle in der wissenschaftlichen Gemeinschaft und beeinflussen Entscheidungen von Forschenden, Institutionen und Geldgeber:innen. In diesem Artikel werden wir diese Bewertungssysteme und ihre Rolle in der Wissenschaft kritisch betrachten. Wir werden die Herausforderungen und Einschränkungen der aktuellen Ranking-Systeme erörtern und alternative Bewertungsansätze vorstellen, die eine umfassendere und fairere Beurteilung von wissenschaftlichen Zeitschriften ermöglichen könnten.

 

Hintergrund und Bedeutung von Journal Rankings

Journal Rankings entstanden im 20. Jahrhundert und haben seitdem eine wachsende Bedeutung für die Wissenschaft erlangt. Sie werden verwendet, um die Qualität von Forschungseinrichtungen und -projekten zu bewerten, Entscheidungen bei der Manuskripteinreichung zu treffen und die Karriereentwicklung von Wissenschaftlerinnen und Wissenschaftlern zu beeinflussen. Der am häufigsten verwendete Indikator für Journal Rankings ist der Journal Impact Factor (JIF), der auf der durchschnittlichen Anzahl der Zitierungen pro Artikel in einem bestimmten Zeitraum basiert.

Funktionen von Journal Rankings

a) Qualitätssicherung:
Ein höheres Ranking signalisiert in der Regel, dass eine Zeitschrift strengere Begutachtungsverfahren (Peer-Review) durchführt und höhere wissenschaftliche Standards einhält. Dies bedeutet, dass Artikel in hochrangigen Zeitschriften tendenziell qualitativ hochwertiger sind.

b) Anerkennung:
Eine Veröffentlichung in einer angesehenen Zeitschrift kann der akademischen Karriere einer Forscherin oder eines Forschers zugutekommen, indem sie deren oder dessen Reputation und Sichtbarkeit erhöht.

c) Auswahlhilfe:
Journal Rankings unterstützen Studierende und Forschende dabei, geeignete Zeitschriften für ihre Veröffentlichungen auszuwählen oder relevante Literatur für ihre Forschung zu finden.

Gängige Journal-Ranking-Systeme

Der bekannteste und am weitesten verbreitete Indikator für Journal Rankings ist der Journal Impact Factor (JIF). Er wird jährlich von Clarivate Analytics im Journal Citation Reports (JCR) veröffentlicht und misst den durchschnittlichen Einfluss einer Zeitschrift anhand der Zitierungen ihrer Artikel. Andere Ranking-Systeme sind der SCImago Journal Rank (SJR) und der Source Normalized Impact per Paper (SNIP).

Die Berechnung der Journal Rankings


JIF
Journal Impact Factor:
Der Journal Impact Factor wird berechnet, indem die Anzahl der Zitierungen, die Artikel einer Zeitschrift in einem bestimmten Jahr erhalten haben, durch die Gesamtzahl der in den letzten zwei Jahren veröffentlichten Artikel dividiert wird. Die Formel lautet:

JIF = (Zitierungen im Jahr X) / (Publizierte Artikel in den Jahren X-1 und X-2)

Zum Beispiel, wenn eine Zeitschrift im Jahr 2022 insgesamt 500 Zitierungen erhalten hat und in den Jahren 2020 und 2021 insgesamt 100 Artikel veröffentlicht hat, wäre der JIF wie folgt:

JIF = 500 / 100 = 5

SJR
SCImago Journal Rank:
Die Berechnung des SJR ist komplexer als die des JIF. Der SJR basiert auf einem Algorithmus, der Ähnlichkeiten mit dem PageRank-Algorithmus von Google aufweist. Der SJR berücksichtigt die Anzahl der Zitierungen, die ein Artikel in einer Zeitschrift erhalten hat, und gewichtet diese Zitierungen basierend auf der Bedeutung der zitierenden Zeitschriften. Die grundlegende Idee ist, dass Zitierungen aus höher eingestuften Zeitschriften mehr Gewicht haben als Zitierungen aus niedriger eingestuften Zeitschriften. Die genaue Formel für den SJR ist recht komplex und geht über den Rahmen dieses Beitrags hinaus.

Für eine detaillierte Erklärung der Berechnung des SJR empfehle ich Ihnen, die offizielle SCImago-Website zu besuchen.

SNIP
Source Normalized Impact per Paper:
Der SNIP ist ein Mass für das Zitationspotenzial einer Zeitschrift und berücksichtigt das durchschnittliche Zitationsverhalten im jeweiligen Fachgebiet. Der SNIP wird berechnet, indem die Anzahl der Zitierungen pro Artikel durch das Zitationspotenzial im jeweiligen Fachgebiet dividiert wird. Die Formel lautet:

SNIP = (Zitierungen pro Artikel) / (Durchschnittliches Zitationspotenzial im Fachgebiet)

Das Zitationspotenzial ist die durchschnittliche Anzahl von Zitierungen, die Artikel in einem bestimmten Fachgebiet erhalten. Um den SNIP zu berechnen, benötigen Sie Zugang zu einer Datenbank, die Zitationsinformationen für verschiedene Fachgebiete bereitstellt, wie zum Beispiel Scopus.

Insgesamt ist es wichtig zu beachten, dass die Berechnung des Rankings eines Journals von verschiedenen Faktoren abhängt und dass die verschiedenen Ranking-Systeme unterschiedliche Aspekte der Zeitschriftenqualität berücksichtigen.

The calculation of the final prestige of a journal is an iterative process, in which the prestige in the stage i of a journal depends on the prestige of the set of journals in stage i-1. Quelle

SCImago Journal Rank

SJRi -Scimago Journal Rank of the Journal i.

Cji – Citation from journal j to journal i.
Cj – Number of References of journal j.
d – Constant, normally 0.85.

e – Constant, normally 0.10.
N – Number of Journals
Artj – Number of Articles of journal j

Nutzen für Studierende

a) Literaturrecherche:
Rankings können helfen, relevante und qualitativ hochwertige Literatur für Forschungsprojekte und Hausarbeiten zu finden. Eine Zeitschrift mit einem höheren Ranking liefert in der Regel verlässlichere Informationen als eine mit einem niedrigeren Ranking.

b) Publikationsstrategie:
Wenn Sie planen, eigene Forschungsergebnisse zu veröffentlichen, können Journal Rankings dabei helfen, angemessene Zeitschriften für Ihre Arbeit auszuwählen. Eine Veröffentlichung in einer angesehenen Zeitschrift kann Ihre akademische Karriere fördern.

Hirsch-Index
Weiterlesen

Hirsch-Index, Scopus-Index und Impact Factor

Who is who in Science – personenbezogene Kennzahlen zur Würdigung wissenschaftlicher Publikationen

Hirsch-Index & Co.

Herausforderungen und Kritik am Journal Ranking

Anfälligkeit für Manipulation

Ein Hauptkritikpunkt an Journal Rankings ist ihre Anfälligkeit für Manipulation. Zeitschriften können versuchen, ihre Rankings durch Selbstzitierung oder durch die Veröffentlichung von Artikeln mit hohem Zitierungspotenzial künstlich zu erhöhen. Dies kann zu einer Verzerrung der Rankings führen und die Glaubwürdigkeit des Systems untergraben.

Vernachlässigung von interdisziplinären oder neu entstehenden Forschungsgebieten

Journal Rankings können dazu führen, dass Forscher:innen und Institutionen sich auf etablierte Forschungsfelder konzentrieren, um in hochrangigen Zeitschriften veröffentlichen zu können. Dies kann die Entwicklung von interdisziplinären oder neu entstehenden Forschungsgebieten behindern, da diese möglicherweise nicht die gleiche Anerkennung und Unterstützung erhalten wie etablierte Disziplinen.

 

Info:
Das Journal Ranking wurde nicht von einer einzelnen Person erfunden, sondern entwickelte sich im Laufe der Zeit durch verschiedene Initiativen und Methoden. Der Impact Factor wurde von Eugene Garfield in den 1960er-Jahren entwickelt.

 

Alternative Metriken und Indikatoren:

Eine umfassendere Bewertung von wissenschaftlichen Zeitschriften

Angesichts der Kritik an traditionellen Journal Rankings wie dem Journal Impact Factor (JIF) haben sich alternative Metriken und Indikatoren entwickelt, die eine differenziertere und umfassendere Bewertung von wissenschaftlichen Zeitschriften und Forschungsergebnissen ermöglichen sollen.

  1. Altmetrics
    Altmetrics sind alternative Metriken, die die Sichtbarkeit und den Einfluss von wissenschaftlichen Publikationen anhand ihrer Online-Aktivitäten messen. Im Gegensatz zu traditionellen Zitationsmetriken berücksichtigen Altmetrics eine breitere Palette von Datenquellen, wie zum Beispiel Downloads, Social-Media-Mentions, Blogposts, Lesezeichen und Empfehlungen in wissenschaftlichen Netzwerken. Altmetrics können dabei helfen, die Verbreitung von Forschungsergebnissen jenseits der wissenschaftlichen Gemeinschaft und die Reaktionen der breiteren Öffentlichkeit auf wissenschaftliche Publikationen zu erfassen.
  1. Leiden Ranking
    Das Leiden Ranking ist ein alternativer Ansatz zur Bewertung von wissenschaftlichen Zeitschriften und basiert auf einer Kombination von Zitations- und Kollaborationsindikatoren. Im Gegensatz zum JIF berücksichtigt das Leiden Ranking auch die Qualität der Zitierungen und die Zusammenarbeit zwischen verschiedenen Institutionen und Ländern. Dadurch soll ein ausgewogeneres Bild von der Bedeutung und dem Einfluss einer Zeitschrift innerhalb der wissenschaftlichen Gemeinschaft entstehen.
  1. Eigenfactor
    Der Eigenfactor ist eine alternative Metrik, die den Einfluss von wissenschaftlichen Zeitschriften anhand ihrer Zitationsnetzwerke bewertet. Im Gegensatz zum JIF, der nur die durchschnittliche Anzahl der Zitierungen pro Artikel berücksichtigt, misst der Eigenfactor auch die Qualität der Zitierungen und die Bedeutung der zitierenden Zeitschriften. Dadurch soll eine differenziertere und fairere Bewertung der wissenschaftlichen Zeitschriften erreicht werden.
  1. H-Index
    Der H-Index ist eine Metrik, die sowohl die Anzahl der Publikationen von Autor:innen als auch die Anzahl der Zitierungen pro Publikation berücksichtigt. Lesen Sie hier mehr darüber: Hirsch-Index, Scopus-Index und Impact Factor.

Die Verwendung alternativer Metriken und Indikatoren ermöglicht eine umfassendere und differenziertere Bewertung von wissenschaftlichen Zeitschriften. Durch die Berücksichtigung verschiedener Aspekte des wissenschaftlichen Publikationsprozesses können diese Ansätze dazu beitragen, die Qualität und den Einfluss von Forschung umfassender und fairer zu messen und auf die Kritikpunkte und Herausforderungen der traditionellen Journal Rankings zu reagieren.

 

Interessante Verweise:

  1. The San Francisco Declaration on Research Assessment (DORA):
    https://sfdora.org/
    DORA ist eine Initiative, die sich dafür einsetzt, die Art und Weise, wie wissenschaftliche Forschung bewertet wird, zu verbessern. Sie bietet eine Reihe von Empfehlungen zur Verwendung alternativer Metriken und zur Reduzierung der Abhängigkeit vom Impact Factor.
  2. Leiden Manifesto for Research Metrics:
    http://www.leidenmanifesto.org/
    Das Leiden Manifesto präsentiert zehn Prinzipien für einen verantwortungsvolleren Umgang mit Forschungsmetriken und die Berücksichtigung verschiedener Indikatoren bei der Bewertung von Forschung.
  3. Altmetric:
    https://www.altmetric.com/
    Altmetric ist eine Plattform, die alternative Metriken für wissenschaftliche Publikationen anbietet. Sie verfolgt und analysiert Online-Aktivitäten im Zusammenhang mit wissenschaftlichen Artikeln, um deren Einfluss jenseits von Zitierungen zu messen.
  4. Metrics Toolkit:
    https://www.metrics-toolkit.org/
    Das Metrics Toolkit ist eine Ressource, die Forschenden dabei hilft, verschiedene Forschungsmetriken und -indikatoren zu verstehen und zu nutzen. Es bietet Anleitungen zur Auswahl und Interpretation von Metriken und erläutert deren Stärken und Schwächen.
  5. «Why the impact factor of journals should not be used for evaluating research»
    von Per O. Seglen, BMJ (1997): https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2126010/
    Dieser Artikel diskutiert die Probleme und Einschränkungen des Journal Impact Factors und argumentiert, dass er nicht zur Bewertung von Forschung verwendet werden sollte.

Diese Verweise bieten zusätzliche Informationen und verschiedene Perspektiven auf das Thema Journal Ranking, Kritik und alternative Metriken. Sie können den Leser:innen helfen, das Thema weiter zu erkunden und ein tieferes Verständnis für die verschiedenen Aspekte der Debatte zu entwickeln.

Fazit und Aussicht

Journal Rankings sind ein wichtiger Aspekt des wissenschaftlichen Publikationsprozesses, aber sie sind nicht ohne Probleme und Kritikpunkte. Die Anfälligkeit für Manipulation und die Vernachlässigung von interdisziplinären oder neu entstehenden Forschungsgebieten sind nur einige der Herausforderungen, die mit der Verwendung von Journal Rankings verbunden sind. Angesichts dieser Probleme ist es wichtig, alternative Metriken zu entwickeln und einzusetzen, um eine differenziertere und umfassendere Bewertung von wissenschaftlichen Zeitschriften zu ermöglichen.

Die zuvor genannten Verweise bieten weitere Informationen und Ressourcen zum Thema. Sie können dabei helfen, ein besseres Verständnis für die Komplexität der Forschungsbewertung zu entwickeln und neue Perspektiven und Ansätze für die Beurteilung von wissenschaftlichen Zeitschriften zu erkunden.

In der Zukunft könnten sich Journal Rankings weiterentwickeln, um die Herausforderungen und Kritikpunkte zu berücksichtigen und eine ausgewogenere Bewertung der wissenschaftlichen Publikationen zu ermöglichen. Dabei könnten alternative Indikatoren eine immer wichtigere Rolle spielen und dazu beitragen, die Qualität und den Einfluss von Forschung umfassender und fairer zu messen.