Peer Review: Ein umstrittenes Verfahren?

 

 

Diese Seite ist Ergebnis einer

Gruppenarbeit mit Peer Review.

 
Wir danken den (nicht) anonymen Gutachter_innen der Arbeitsgruppe
"Collaborative Learning" für ihr konstruktives Feedback.

Was ist Peer Review?

Soll ein wissenschaftlicher Text herausgegeben werden, geht ihm ein langes Verfahren voraus, das die wissenschaftliche Qualität des Textes sichern soll. Dieses Peer Review Verfahren basiert im Wesentlichen darauf, dass die Autor_in ihren Text anderen Wissenschaftler_innen für eine gründliche Prüfung und Kritik zur Vefügung stellt.

Das Verfahren soll gewährleisten, "dass nur originale und stimmige Forschungsergebnisse veröffentlicht und anerkannt werden." (Food Today 4/2013)

Ablauf

Es gibt unterschiedliche Verfahren, im Groben gestaltet sich er Ablauf aber wie folgt: Die Wissenschaftler_in reicht ihre Forschungsergebnisse beispielsweise bei einer Herausgeber_in, beispielsweise einer Zeitschrift ein. Diese lädt Expert_innen ein und beauftragt sie, die Validität der Forschungsergebnisse zu bewerten.


Die grundsätzlichen Bewertungskriterien für die Nützlichkeit des Textes sind:

  • verwendete wissenschaftliche Methoden
  • Tragbarkeit der gezogenen Schlussfolgerungen, z.B.
  • Übereinstimmung der Interpretation mit den Daten, Neuheitswert der Daten
  • Nachvollziehbarkeit der Ergebnisse
  • Angemessenheit der Ergebnisse im jeweiligen Fachgebiet
  • Originalität/ Neuheitswert
  • korrekte Zitation
  • Übereinstimmung mit vorliegenden Forschungsergebnissen
  • ...

Die Auswahl der Gutachter_innen soll nach bestimmten Aspekten geschehen. Beispielsweise dürfen sie nicht im Interessenkonflikt mit dem Thema des Textes stehen. Die Gutachter_innen werden für ihre Arbeit nicht bezahlt.

Was passiert, wenn eine Arbeit beim Peer Review nicht besteht?

(A) Ablehnung der Arbeit durch die Herausgeber_in

(B) Annahme unter der Vorraussetzung, dass die Arbeit von der Autor_in entsprechend überarbeitet wird

The Peer Review Process

Peer Review ist übrigens auch...

Bisher wurde vom Peer Review nur auf wissenschaftlicher Ebene berichtet. Die Studie "To give is better than to receive. The benefits of peer review to the reviewer's own writing" (Lundstrom/Baker 2009) untersucht den Nutzen des Peer Review in sogenannten "writing classes".

Nachgegangen wurde hier speziell der Forschungsfrage, ob die ausschliesschlich Feedback gebenden Student_innen eher ihre persönlichen Schreibfertigkeiten verbessern, als diejenigen Student_innen, die ausschliesslich Feedback erhalten. 

Die Methode sah vor, dass Student_innen, die ein Peer Review abgaben, selbst kein Feedback bekamen. Ebenso gaben die Feedback erhaltenden Sudent_Innen keines an andere. Als Bewertungsmaßstab dienten 30-Minuten-Essays, die die Teilnehmer_innen am Anfang sowie am Ende des Semesters anfertigten.

Das Ergebnis überrascht: Das Geben von Feedback verbesserte die eigene Schreibleistung der Student_innen tatsächlich stärker, als es der Erhalt von Feedback vermochte.

Prozess des Peer Reviews

Die wichtigsten Verfahren im Überblick

Es gibt nicht das Peer-Review-Verfahren, sondern viele verschiedene. 

Der Klassiker: Single Blind Peer Review: Die Identität der Gutachter_in bleibt der Autor_in verborgen. Der kritischen Rückmeldung soll eine größtmögliche Unabhängigkeit zugrunde liegen.

Double Blind Peer Review: Weder Gutachter_innen noch Autor_innen erfahren die Identität der jeweils anderen. Spielt vor allem in Wirtschafts- und Sozialwissenschaften eine große Rolle, wo "ausgeprägte Zuordnungen zwischen Institutionen und Lehrmeinungen, Strömungen und dergleichen innerhalb der jeweiligen Fachdisziplin existieren" (Müller 2008: 106).

Noch einen draufgesetzt: Triple Blind Peer Review: Die Herausgeber_in (oder die Förder_in bei Drittmittelanträgen) lassen sich einen anonymisierten Text bzw. Antrag schicken. Dieses Verfahren ähnelt dem der anonymisierten Bewerbungen.

Open Peer Review: Beide Seiten wissen um die Identität des Gegenübers. Das ethische Argument für diese Verfahren: Transparenz und öffentliche Verantwortlichkeit für die eigene Entscheidung bringen bessere Ergebnisse. Beleidungen und ungerechtfertigte Ablehnungen sollen weniger werden (Müller 2008: 111).

Neue Entwicklung: Open Peer Commentary: Diskussionforen im Internet, in denen Fachkolleg_innen Feedback geben. "Allerdings haben deren Einschätzungen und Meinungen in der Regel keinen Einfluss auf die tatsächliche Publikationsentscheidung bzw. den Inhalt eines schließlich zur Publikation akzeptierten Manuskripts, sondern dienen ausschließlich der Kommentierung und der fachlichen Diskussion" (Müller 2008: 122).

Kritik am Verfahren des Peer Review

Unabhängig von der Wahl des Verfahrens dienen Peer Reviews im besten Fall dazu, dass wissenschaftliche Texte von jemandem auf gleicher Augenhöhe nach Qualität und Relevanz für das Fachgebiet beurteilt werden.  Dadurch soll eine zeitnahe Veröffentlichung bzw. Genehmigung von Fördergeldern eingeleitet werden können. Doch es gibt Faktoren, die diesen Prozess behindern und weniger attraktiv machen:

  • langer Prozess bis zur Veröffentlichung, da viele Beteiligte auf Seiten des Verlags und der Gutachter_innen
  • zu hohe Kosten (z. B. ehrenamtliche Tätigkeit sowie Akquise von Gutachter_innen)
  • Unabhängigkeit von der Politik (Fördermittelvergabe ist z.B. oft an politische Stiftungen gebunden)
  • "Old Boys" - jungen Nachwuchswissenschaftler_innen wird häufig der Zugang verwehrt, weil Verlage/Journale häufig nur wenige, erfahrene Gutachter_innen einsetzen (Vgl. Fröhlich 2002)
  • Image: Journale haben unterschiedlich hohe Ansprüche, aber weniger Quantität bedeutet nicht gleich eine höhere Qualität der ausgewählten Texte
  • Zufall: Die Entscheidung über Förderung bzw. Veröffentlichung fällt zu einem großen Teil zufällig und ist nicht so rational wie sie sein will (Vgl. Cole et. al. 1981)
  • Sprachneigung:  Nichtmuttersprachler_innen werden häufig benachteiligt (Fröhlich 2002)
  • Gender: Frauen erhalten bei gleicher Qualifikation weniger Professuren/Post-doc-Stellen. Diese werden häufig in Verbindung mit begutachteten Projektvoschlägen ausgewählt (Vgl. Wennerås/Wold 1997)
  • "Vetternwirtschaft": Kolleg_innen aus dem gleichen Forschungsbereich bzw. mit Thesen, die den eigenen ähneln, werden besser bewertet (auch bekannt als "confirmatory bias" bei Mahony 1977)  (Vgl. Wennerås/Wold 1997)
  • Missbrauch: z. B. Plagiatsfälle, nicht gekennzeichnete Mehrfachveröffentlichungen
  • Reliabilität & Validität der Auswahlverfahren der Gutachter_innen (Hirschauer 2004: 62)
  • folgenreiche (Fehl-)Entscheidungen: die Auswahl eines Textes entscheidet über die Auswahl zukünftiger Texte und kann Deutungshierarchien in der Forschung etablieren (Ebd.)

 

Fazit:

Worst Case Scenario wäre also, dass Innovationen nicht gefördert sondern unterdrückt werden, insbesondere kann das durch 'Old Boys' und/oder politische Lenkung zustandekommen (zu Kritik an restriktiven Verfahren des Peer Reviews, Vgl. Horrobin 1990). Zudem ist es laut einer schwedischen Studie von Wennerås und Wold (1997) so, dass Frauen in der Wissenschaft mit der geringsten Wahrscheinlichkeit mit einem Stipendium gefördert werden, wenn sie noch keine Kontakte innerhalb der Fachkreise haben.

Wie lassen sich die Verzerrungen innerhalb des wissenschaftlichen Wettbewerbs vermeiden? Damit beschäftigt sich der folgene Abschnitt zu Reformen des Peer Review Vefahrens. 

Reformen: Vorschläge

  • Zuteilung der Gutachter_innen sollte per Zufall erfolgen, so kann eine Verzerrung durch willkürliche Zuweisung, z.B. an "old boys" vermieden werden
  • jeglicher Peer Review sollte eine Dreifachblindbegutachtung sein
  • Gutachten sollten komplett einsehbar sein, zum einen um Willkür vorzubeugen und zum anderen um den Autor_innen die Möglichkei zu geben sich zu erklären
  • bis dato ist die Arbeit als Gutachter_in von wissenschaftlichen Arbeiten eine ehrenamtliche Tätigkeit. Um die Gutachter_innen zu präziserer Arbeit und mehr (zeitlichen) Aufwand zu motivere, sollte die Tätigkeit angemessen honoriert werden
  • Gutachter_innenkompetenz  muss gefördert werden um eine hohe Qualität des Peer Reviews zu gewährleisten. Dies könnte z.B. in Gruaduiertenkollegs geschehen.
  • um Betrugsfälle einfach erkennen zu können, sollten im Bereich des Peer Rewies angemessene Technologien genutzt werden (z.B. Datenbanken um Arbeiten zu vergleichen und so Doppelveröffentlichungen vorzubeugen)

      (nach Fröhlich 2002)

Quellen

Cole, Stephen & Cole, Jonathan R. & Simon, Gary A. (1981): Chance and Consensus in Peer Review. In: Science, New Series. 214, 4523. S. 881-886.

FOOD TODAY (2013): Auf der Suche nach Qualität: Das wissenschaftliche „Peer Review“-Verfahren. In: http://www.eufic.org/article/de/artid/the-scientific-peer-review-process/ (13.4.20014).

Fröhlich, Gerhard (2002): Anonyme Kritik. Peer Review auf dem Prüfstand der empirisch-theoretischen Wissenschafts­forschung, in: Pipp, E. (Hg.): Drehscheibe E-Mitteleuropa : Information: Produzenten, Vermittler, Nutzer. Die gemeinsame Zukunft. Wien: Phoibos Verlag. Biblos-Schriften 173, S. 129-146.

Hirschauer, Stefan (2004): Peer Review Verfahren auf dem Prüfstand. Zum Soziologiedefizit der Wissenschaftsevaluation. In: Zeitschrift für Soziologie, 33, 1. S. 62-83.

Horrobin, D.F. (1990) The philosophical basis of peer review and the suppression of innovation. In: J. Am. Med. Assoc. 263, S. 1438–1441.

Lundstrom, Kristi & Baker, Wendy (2009): To give is better than to receive: The benefits of peer review to the reviewer's own writing. In: Journal of Second Language Writing, 18. S. 30-43.

Manoney, Michael J. (1997): Publication Predjudices: An Experimental Study of Confirmatory Bias in the Peer Review System. In: Cognitive Therapy and Research, 1, 2. S. 161-175.

Müller, Uwe Thomas (2008): Peer-Review-Verfahren zur Qualitätssicherung von Open-Access-Zeitschriften. Systematische Klassifikation und empirische Untersuchung. Dissertation an der HU-Berlin, Philosophische Fakultät 1.

Wenneras, Christine & Wold, Agnes (1997): Nepotism and Sexism in Peer-Review. In: Nature, 387. S. 341-343.

 

Bildquellen

Peer Review - Cartoon

The Peer Review Process - Video

Prozess des Peer Review - Schema

Peer durch Beer - Cartoon