"Informed Peer Review": Ausgleich der Fehler und Verzerrungen?

Abstract

Wissenschaftstheoretisch gesehen ist Evaluation (im Sinne von Kritik, Bewertung von Theorien, Methoden, Befunden nach wissenschaftlichen Kriterien) konstitutiv für wissenschaftliche Methodik. "Rücksichtslose" (Karl Popper) Kritik ist ein Definitionskriterium für Wissenschaft. Das Peer-Review-System im Singular gibt es nicht, sondern nur höchst unterschiedliche Praktiken, die oft bloß den Namen gemeinsam haben. Recherchen nach hemmenden Faktoren für wissenschaftliche Innovation zeigen zahllose Fehlurteile von Gutachtern bzw. Herausgebern renommierter Journale. Mythos Qualitätskontrolle: Bei den experimentellen Untersuchungen mittels Manuskripten mit eingebauten Fehlern übersahen die Referees auch schwere Fehler. Qualitative Bewertungen von Artikeln aus referierten Journalen zeigen schwerste Mängel. Nur wenige Fälle wissenschaftliches Fehlverhaltens (Plagiat, Betrug und Täuschung) wurden durch Referees bzw. Editoren aufgedeckt. Peer Review und Szientometrie: Gleichen sich deren Fehler und Verzerrungen wirklich aus? Verteidiger des Status quo korrelieren oft Gutachter-Bewertungen mit Zitationshäufigkeiten. Doch diese sind für die gleichen Verzerrungen anfällig: Bereits etablierte Theorien, Methoden, WissenschaftlerInnen, Institutionen werden durch "Impact"-Werte belohnt, innovative, noch statusniedrige Außenseiter hingegen bestraft. Der "Matthäus-Effekt" (Robert K. Merton) wird in der Interaktion von quantitativer und qualitativer Evaluation weiter aufgeschaukelt. Reformvorschläge pochen auf Einsichtnahme in die vollständigen Gutachtentexte durch die Begutachteten, verbindliche, offen gelegte Kriterienlisten für Gutachter. Radikalere Kritiker fordern statt Arkanpraxis offene Systeme, v.a. die Lagerung von Manuskripten, Gutachten, Stellungnahmen und Kritiken in digitalen Archiven. Ich schlage vor, dem Zufall mehr Raum zu geben, sowohl bei der Auswahl der Referees, als auch bei der Meta-Analyse der Rohdaten, Labor-Tagebüchern und der Gutachten selbst.