Peer Review

Schlagwörter: Gutachten, Kritik, Peer Review

Peer Review: Ein umstrittenes Verfahren?

(Details)

 

 

Diese Seite ist Ergebnis einer

Gruppenarbeit mit Peer Review.

 
Wir danken den (nicht) anonymen Gutachter_innen der Arbeitsgruppe
"Collaborative Learning" für ihr konstruktives Feedback.
(Details)

Was ist Peer Review?

Soll ein wissenschaftlicher Text herausgegeben werden, geht ihm ein langes Verfahren voraus, das die wissenschaftliche Qualität des Textes sichern soll. Dieses Peer Review Verfahren basiert im Wesentlichen darauf, dass die Autor_in ihren Text anderen Wissenschaftler_innen für eine gründliche Prüfung und Kritik zur Vefügung stellt.

Das Verfahren soll gewährleisten, "dass nur originale und stimmige Forschungsergebnisse veröffentlicht und anerkannt werden." (Food Today 4/2013)

Ablauf

Es gibt unterschiedliche Verfahren, im Groben gestaltet sich er Ablauf aber wie folgt: Die Wissenschaftler_in reicht ihre Forschungsergebnisse beispielsweise bei einer Herausgeber_in, beispielsweise einer Zeitschrift ein. Diese lädt Expert_innen ein und beauftragt sie, die Validität der Forschungsergebnisse zu bewerten.


Die grundsätzlichen Bewertungskriterien für die Nützlichkeit des Textes sind:

  • verwendete wissenschaftliche Methoden
  • Tragbarkeit der gezogenen Schlussfolgerungen, z.B.
  • Übereinstimmung der Interpretation mit den Daten, Neuheitswert der Daten
  • Nachvollziehbarkeit der Ergebnisse
  • Angemessenheit der Ergebnisse im jeweiligen Fachgebiet
  • Originalität/ Neuheitswert
  • korrekte Zitation
  • Übereinstimmung mit vorliegenden Forschungsergebnissen
  • ...

Die Auswahl der Gutachter_innen soll nach bestimmten Aspekten geschehen. Beispielsweise dürfen sie nicht im Interessenkonflikt mit dem Thema des Textes stehen. Die Gutachter_innen werden für ihre Arbeit nicht bezahlt.

Was passiert, wenn eine Arbeit beim Peer Review nicht besteht?

(A) Ablehnung der Arbeit durch die Herausgeber_in

(B) Annahme unter der Vorraussetzung, dass die Arbeit von der Autor_in entsprechend überarbeitet wird

(Details)

The Peer Review Process

Peer Review ist übrigens auch...

Bisher wurde vom Peer Review nur auf wissenschaftlicher Ebene berichtet. Die Studie "To give is better than to receive. The benefits of peer review to the reviewer's own writing" (Lundstrom/Baker 2009) untersucht den Nutzen des Peer Review in sogenannten "writing classes".

Nachgegangen wurde hier speziell der Forschungsfrage, ob die ausschliesschlich Feedback gebenden Student_innen eher ihre persönlichen Schreibfertigkeiten verbessern, als diejenigen Student_innen, die ausschliesslich Feedback erhalten. 

Die Methode sah vor, dass Student_innen, die ein Peer Review abgaben, selbst kein Feedback bekamen. Ebenso gaben die Feedback erhaltenden Sudent_Innen keines an andere. Als Bewertungsmaßstab dienten 30-Minuten-Essays, die die Teilnehmer_innen am Anfang sowie am Ende des Semesters anfertigten.

Das Ergebnis überrascht: Das Geben von Feedback verbesserte die eigene Schreibleistung der Student_innen tatsächlich stärker, als es der Erhalt von Feedback vermochte.

(Details)

Prozess des Peer Reviews

(Details)

Die wichtigsten Verfahren im Überblick

Es gibt nicht das Peer-Review-Verfahren, sondern viele verschiedene. 

Der Klassiker: Single Blind Peer Review: Die Identität der Gutachter_in bleibt der Autor_in verborgen. Der kritischen Rückmeldung soll eine größtmögliche Unabhängigkeit zugrunde liegen.

Double Blind Peer Review: Weder Gutachter_innen noch Autor_innen erfahren die Identität der jeweils anderen. Spielt vor allem in Wirtschafts- und Sozialwissenschaften eine große Rolle, wo "ausgeprägte Zuordnungen zwischen Institutionen und Lehrmeinungen, Strömungen und dergleichen innerhalb der jeweiligen Fachdisziplin existieren" (Müller 2008: 106).

Noch einen draufgesetzt: Triple Blind Peer Review: Die Herausgeber_in (oder die Förder_in bei Drittmittelanträgen) lassen sich einen anonymisierten Text bzw. Antrag schicken. Dieses Verfahren ähnelt dem der anonymisierten Bewerbungen.

Open Peer Review: Beide Seiten wissen um die Identität des Gegenübers. Das ethische Argument für diese Verfahren: Transparenz und öffentliche Verantwortlichkeit für die eigene Entscheidung bringen bessere Ergebnisse. Beleidungen und ungerechtfertigte Ablehnungen sollen weniger werden (Müller 2008: 111).

Neue Entwicklung: Open Peer Commentary: Diskussionforen im Internet, in denen Fachkolleg_innen Feedback geben. "Allerdings haben deren Einschätzungen und Meinungen in der Regel keinen Einfluss auf die tatsächliche Publikationsentscheidung bzw. den Inhalt eines schließlich zur Publikation akzeptierten Manuskripts, sondern dienen ausschließlich der Kommentierung und der fachlichen Diskussion" (Müller 2008: 122).

(Details)

Kritik am Verfahren des Peer Review

Unabhängig von der Wahl des Verfahrens dienen Peer Reviews im besten Fall dazu, dass wissenschaftliche Texte von jemandem auf gleicher Augenhöhe nach Qualität und Relevanz für das Fachgebiet beurteilt werden.  Dadurch soll eine zeitnahe Veröffentlichung bzw. Genehmigung von Fördergeldern eingeleitet werden können. Doch es gibt Faktoren, die diesen Prozess behindern und weniger attraktiv machen:

  • langer Prozess bis zur Veröffentlichung, da viele Beteiligte auf Seiten des Verlags und der Gutachter_innen
  • zu hohe Kosten (z. B. ehrenamtliche Tätigkeit sowie Akquise von Gutachter_innen)
  • Unabhängigkeit von der Politik (Fördermittelvergabe ist z.B. oft an politische Stiftungen gebunden)
  • "Old Boys" - jungen Nachwuchswissenschaftler_innen wird häufig der Zugang verwehrt, weil Verlage/Journale häufig nur wenige, erfahrene Gutachter_innen einsetzen (Vgl. Fröhlich 2002)
  • Image: Journale haben unterschiedlich hohe Ansprüche, aber weniger Quantität bedeutet nicht gleich eine höhere Qualität der ausgewählten Texte
  • Zufall: Die Entscheidung über Förderung bzw. Veröffentlichung fällt zu einem großen Teil zufällig und ist nicht so rational wie sie sein will (Vgl. Cole et. al. 1981)
  • Sprachneigung:  Nichtmuttersprachler_innen werden häufig benachteiligt (Fröhlich 2002)
  • Gender: Frauen erhalten bei gleicher Qualifikation weniger Professuren/Post-doc-Stellen. Diese werden häufig in Verbindung mit begutachteten Projektvoschlägen ausgewählt (Vgl. Wennerås/Wold 1997)
  • "Vetternwirtschaft": Kolleg_innen aus dem gleichen Forschungsbereich bzw. mit Thesen, die den eigenen ähneln, werden besser bewertet (auch bekannt als "confirmatory bias" bei Mahony 1977)  (Vgl. Wennerås/Wold 1997)
  • Missbrauch: z. B. Plagiatsfälle, nicht gekennzeichnete Mehrfachveröffentlichungen
  • Reliabilität & Validität der Auswahlverfahren der Gutachter_innen (Hirschauer 2004: 62)
  • folgenreiche (Fehl-)Entscheidungen: die Auswahl eines Textes entscheidet über die Auswahl zukünftiger Texte und kann Deutungshierarchien in der Forschung etablieren (Ebd.)

 

Fazit:

Worst Case Scenario wäre also, dass Innovationen nicht gefördert sondern unterdrückt werden, insbesondere kann das durch 'Old Boys' und/oder politische Lenkung zustandekommen (zu Kritik an restriktiven Verfahren des Peer Reviews, Vgl. Horrobin 1990). Zudem ist es laut einer schwedischen Studie von Wennerås und Wold (1997) so, dass Frauen in der Wissenschaft mit der geringsten Wahrscheinlichkeit mit einem Stipendium gefördert werden, wenn sie noch keine Kontakte innerhalb der Fachkreise haben.

Wie lassen sich die Verzerrungen innerhalb des wissenschaftlichen Wettbewerbs vermeiden? Damit beschäftigt sich der folgene Abschnitt zu Reformen des Peer Review Vefahrens. 

(Details)

Peer durch Beer?

(Details)

Reformen: Vorschläge

  • Zuteilung der Gutachter_innen sollte per Zufall erfolgen, so kann eine Verzerrung durch willkürliche Zuweisung, z.B. an "old boys" vermieden werden
  • jeglicher Peer Review sollte eine Dreifachblindbegutachtung sein
  • Gutachten sollten komplett einsehbar sein, zum einen um Willkür vorzubeugen und zum anderen um den Autor_innen die Möglichkei zu geben sich zu erklären
  • bis dato ist die Arbeit als Gutachter_in von wissenschaftlichen Arbeiten eine ehrenamtliche Tätigkeit. Um die Gutachter_innen zu präziserer Arbeit und mehr (zeitlichen) Aufwand zu motivere, sollte die Tätigkeit angemessen honoriert werden
  • Gutachter_innenkompetenz  muss gefördert werden um eine hohe Qualität des Peer Reviews zu gewährleisten. Dies könnte z.B. in Gruaduiertenkollegs geschehen.
  • um Betrugsfälle einfach erkennen zu können, sollten im Bereich des Peer Rewies angemessene Technologien genutzt werden (z.B. Datenbanken um Arbeiten zu vergleichen und so Doppelveröffentlichungen vorzubeugen)

      (nach Fröhlich 2002)

(Details)

Quellen

Cole, Stephen & Cole, Jonathan R. & Simon, Gary A. (1981): Chance and Consensus in Peer Review. In: Science, New Series. 214, 4523. S. 881-886.

FOOD TODAY (2013): Auf der Suche nach Qualität: Das wissenschaftliche „Peer Review“-Verfahren. In: http://www.eufic.org/article/de/artid/the-scientific-peer-review-process/ (13.4.20014).

Fröhlich, Gerhard (2002): Anonyme Kritik. Peer Review auf dem Prüfstand der empirisch-theoretischen Wissenschafts­forschung, in: Pipp, E. (Hg.): Drehscheibe E-Mitteleuropa : Information: Produzenten, Vermittler, Nutzer. Die gemeinsame Zukunft. Wien: Phoibos Verlag. Biblos-Schriften 173, S. 129-146.

Hirschauer, Stefan (2004): Peer Review Verfahren auf dem Prüfstand. Zum Soziologiedefizit der Wissenschaftsevaluation. In: Zeitschrift für Soziologie, 33, 1. S. 62-83.

Horrobin, D.F. (1990) The philosophical basis of peer review and the suppression of innovation. In: J. Am. Med. Assoc. 263, S. 1438–1441.

Lundstrom, Kristi & Baker, Wendy (2009): To give is better than to receive: The benefits of peer review to the reviewer's own writing. In: Journal of Second Language Writing, 18. S. 30-43.

Manoney, Michael J. (1997): Publication Predjudices: An Experimental Study of Confirmatory Bias in the Peer Review System. In: Cognitive Therapy and Research, 1, 2. S. 161-175.

Müller, Uwe Thomas (2008): Peer-Review-Verfahren zur Qualitätssicherung von Open-Access-Zeitschriften. Systematische Klassifikation und empirische Untersuchung. Dissertation an der HU-Berlin, Philosophische Fakultät 1.

Wenneras, Christine & Wold, Agnes (1997): Nepotism and Sexism in Peer-Review. In: Nature, 387. S. 341-343.

 

Bildquellen

Peer Review - Cartoon

The Peer Review Process - Video

Prozess des Peer Review - Schema

Peer durch Beer - Cartoon

(Details)

Kommentare

Jana van Wahden
13. April 2014, 18:32

Die offensichtliche Fülle der Informationen zu >Peer Review< scheint mir auf dieser Ansicht sehr gut strukturiert. Es handelt sich um sehr viel wichtigen Inhalt, der aber so gut strukturiert ist, dass ich im Stande bin zu mir wichtigen Oberpunkten zu springen. Vielleicht wäre aber zusätzlich das stärkere Hervorheben einzelner Kernbegriffe noch eine Möglichkeit die Ansicht lebendiger zu gestalten. Besonders gut finde ich den Einsatz der zwei Cartoons zu Beginn und weiter unten, der die Ansicht trotz viel wichtigem Input eindeutig auflockert. 

Antonia Brauer
16. April 2014, 09:48

Ich finde eure Seite sehr gelungen. Inhaltlich finde ich gut wie ihr die Themen gegliedert habt und dass ihr die inhaltliche Fülle durch Bulletpoint und Fett-Druck gerade fürs Web sehr schön lesbar gestaltet habt. Ich mag euren klaren Aufbau, die Cartonns bieten einen schönen Kontrapunkt dazu. Ich finde die Cartoons, die ihr gefunden habt sehr passend und sie illustrieren besser als jedes Foto, was die Problematik am Peer Review ist. Gut ist ebenso, dass das Video auch in Cartoonform die Problematik darstellt, so bleibt ihr der darstellerischen Linie treu. Der Hinweis auf das Feedback der Gruppe Collaborative Learning passt perfekt in die Thematik. Mein einziger Kritikpunkt ist, dass ich die Quellen nicht eingeklappt hätte. Da ihr diese Funktion sont nicht verwendet habt, könnte man glauben, dass das Feld Quellen leer ist. Ich musste zweimal gucken. Ansonsten: super!

Benedikt Ellebrecht
16. April 2014, 11:45

Mir gefällt eure Seite sehr gut. Sie ist klar und übersichtlich dem Thema entsprechend gestaltet. Form und Inhalt finden hier ihren Einklang. Die ausgewählten Grafiken und Videos vermögen es, den Inhalt des Textes nicht nur zu illustrieren, sondern sogar noch auf ihrer Art und Weise zu ergänzen. Am Text gefällt mir besonders gut, dass einige Stichwörter fett-hervorgehoben sind, sodass ich beim Lesen noch schneller zur gewünschten Information gelangen kann. 

Thomas Querhammel
18. April 2014, 18:40

Die bietet auf jeden Fall viel Information und führt in das Thema ein, nennt postive und negative Aspekte und die Bildelemente ergänzen das Ganze gut. Mir fehlt dabei nur irgendwo ein Punkt, wo nochmal ganz kurz gerafft, farblich hervorgehoben und in großer Schrift die zentralen Punkte darstellt.

Valerie Terwei
19. April 2014, 17:27

Liebes Peer-Review-Team, eure Seite gefällt mir sehr gut! Sie ist nicht nur infromativ, sondern auch übersichtich. Darüber hinaus sind die Texte reflektiert und kritisch: Ihr habt ein scharfes beurteilendes Auge auf den Wissenschaftsbetrieb im Peer Review und seht die versteckten Machtverhältnisse und eingefahrenen Strukturen und Gefahren dieses Verfahrens.

Interessant ist auch, dass ihr das Peer Review gleichzeitig bei der Erstellung der Seite angewandt habt. Ich wäre jetzt noch neugierig zu hören, wie das für euch war und was ihr dabei beobachtet habt.

Maike Timmermann
20. April 2014, 20:17

Mir gefällt die Seite echt gut! Sie bringt nicht zu viele aber die nötigen Informationen und liefert dazu noch einen kritischen Blick.  Wenn Mahara mehr hergeben würde, könnte man die Texte noch ein bisschen ansprechender anordnen, aber das nur nebenbei.

Ich mag's außerdem noch, dass ihr euch oben 'verewigt' habt und dabei auch gleich kennzeichnet, dass auch ihr eure Seite habt reviewen lassen!

6 Kommentare