Frage:
Warum folgen nicht alle Disziplinen einem doppelblinden Überprüfungssystem?
James
2013-03-27 00:47:04 UTC
view on stackexchange narkive permalink

Ich bin neu in der Welt der Zeitschriftenverlage und frage mich, warum der Überprüfungsprozess nicht völlig blind ist. Mit blind meine ich, dass die Gutachter nicht wissen, wer die Forschung durchgeführt hat oder (was noch wichtiger ist) von welcher Universität die Forschung stammt. Es scheint, dass die Kenntnis der Identität der Autoren die Überprüfung so beeinflussen könnte, dass die Qualität der Forschung nicht mehr für sich allein steht. Sie sollten in der Lage sein, einen Artikel zu lesen und unter der Annahme, dass das Experiment genau und ethisch korrekt durchgeführt wurde, zu entscheiden, ob es sich um einen bedeutenden wissenschaftlichen Fortschritt handelt. Warum sind Bewertungen nicht routinemäßig doppelblind?

Acht antworten:
Noah Snyder
2013-03-27 02:38:50 UTC
view on stackexchange narkive permalink

In Bereichen mit einer lebendigen Pre-Print-Kultur (z. B. Physik oder Mathematik) werden die meisten Artikel bereits öffentlich im Internet veröffentlicht, wobei der Name des Autors angehängt ist, bevor der Artikel eingereicht und überprüft wird. In diesem Zusammenhang ist eine doppelblinde Überprüfung nicht einmal eine sinnvolle Option.

Auch ohne Vorabdruck gilt dies für Gespräche in einigen Bereichen. Für viele Papiere haben viele potenzielle Schiedsrichter bereits auf einer Konferenz einen Vortrag über die Ergebnisse des Papiers gesehen. Dies gilt insbesondere für Mathematik, bei der das ausführliche Verfassen einer Arbeit besonders aufwändig ist. Daher ist es üblich, dass Personen während der Vorbereitung der Arbeit Vorträge zu Themen halten.

Ein aktuelles Beispiel, auf das ich gestoßen bin, ist, dass das [Journal of Computational and Graphical Statistics] (http://dx.doi.org/10.1080/10618600.2013.766107) den Autor des Papiers nicht blind macht, weil es unpraktisch ist, ergänzende Artikel zu verbreiten Material (das häufig auf der persönlichen Website des Autors gehostet wird). Autoren können jedoch nach Doppelblind fragen, wenn sie dies bevorzugen.
Ich denke nicht, dass das Argument, dass "Überprüfung oft nicht doppelblind sein kann", ein Argument gegen die Vorteile der Verwendung von doppelblinder Überprüfung ist. Nur weil einige Artikel in einigen Disziplinen manchmal bereits mit einem Namen veröffentlicht wurden, bedeutet dies nicht, dass die Zeitschriften nicht versuchen können, eine doppelblinde Überprüfung durchzuführen.
@Behacad Wenn es unmöglich ist, dass die Rezension ohnehin doppelblind ist (was für die Mathematik der Fall ist), würde dies dazu führen, dass die Redaktionen der Zeitschriften extrem albern aussehen, wenn sie die gesamte zusätzliche Arbeit durchlaufen (und die Autoren durch die zusätzliche Arbeit) bei der Durchführung von Doppelblindprüfungen.
Werden mehr als 50% der Manuskripte tatsächlich vor der formellen Begutachtung veröffentlicht? Das ist in der Tat interessant. Trotzdem sehe ich, dass dies nur für einige Disziplinen gilt.
@Behacad Ich führe einen Feed mit zwei Themen zu arXiv, und ich wäre überrascht, wenn ich pro Jahr sogar einige Artikel finden würde, die für meine Arbeit relevant sind und die ich in diesem Feed noch nicht gesehen habe.
In Bereichen wie der experimentellen Teilchenphysik, in denen es relativ wenige Großprojekte gibt, reduzieren die einfachen Details der Messung (selbst für ein Papier mit einer "kleinen Autorenliste" auf einer Seitenmessung zur Reduzierung der Systematik) den Kandidatenpool im Allgemeinen auf einen gerechten Wert ein paar mögliche Gruppen.
Vor Jahren experimentierten die Proceedings der American Mathematical Society mit Blindschiedsrichtern, und ich war ein Blindschiedsrichter für eine Arbeit. Der Hauptteil meines Berichts lautete im Wesentlichen: "Wenn der Autor X ist, akzeptieren Sie das Papier. Wenn nicht, setzen Sie den Autor mit X in Verbindung, der auf der Konferenz Y dieselben Ergebnisse präsentierte."
@AndreasBlass: Das fasst das Problem so perfekt zusammen!
@Nate Eldredge, Es fasst auch das Problem der Autorenbias perfekt zusammen.Das Papier hätte die Ergebnisse der Konferenz erwähnen und zitieren sollen, unabhängig davon, ob es sich um denselben Autor handelte oder nicht.Darüber hinaus sollte das Papier unabhängig vom Autor aufgrund seines Inhalts angenommen oder abgelehnt worden sein.
@Hjan: Es wäre ein Albtraum, wenn die Leute die Arbeit anderer plagiieren und sie dennoch akzeptieren könnten, da der Schiedsrichter davon ausging, dass die Einreichung vom tatsächlichen Autor stammt.Und wenn in jedem Artikel steht, dass „diese Ergebnisse von X auf den Konferenzen A, B und C präsentiert wurden“, dann bewirkt Doppelblindheit nichts.
@NoahSnyder Die "echten" Autoren sollten auch ihre eigene Arbeit zitieren, und wenn in der neuen Arbeit tatsächlich nichts Wesentliches hinzugefügt wird, sollte die neue Arbeit nicht akzeptiert werden.Es sollte keinen Unterschied geben, ob Sie Ihre eigene Arbeit oder die anderer erweitern.Obwohl in einigen Gemeinden geringfügige Erweiterungen und Variationen derselben Arbeit, die von denselben Autoren veröffentlicht wurden, tolleriert sind.Eine doppelblinde Überprüfung in Kombination mit Kriterien für minimale inkrementelle Werte könnte ein gutes Instrument sein, um solche Veröffentlichungen zum „Schneiden von Salami“ zu mildern.
Ein Vortrag in Mathe ist keine "Arbeit".Sie müssen schließlich die Details aufschreiben.
Es kann hilfreich sein zu klären, dass Mathematik ganz anders funktioniert als die meisten anderen Bereiche.Theoretische Mathematik ist ein langsames Feld, und Papiere haben eine viel längere Lebensdauer als typische Konferenzpapiere (die in den meisten Teilen der Mathematik nicht existieren).Viele Mathematiker (nicht nur etablierte Forscher) halten auf Konferenzen und lokalen Seminaren mehrmals den gleichen Vortrag, und dies kann in jeder Phase des Aufschreibungsprozesses geschehen.
JeffE
2013-03-27 03:14:54 UTC
view on stackexchange narkive permalink

In der theoretischen Informatik wird fast ausschließlich Single-Blind-Reviewing verwendet. Die Rezensenten kennen die Autoren der von ihnen rezensierten Artikel, die Autoren jedoch nicht, die ihre Artikel überprüfen. (Wie bei vielen Dingen kopieren wir diese Einstellung aus der Mathematik.)

Ich denke, die Hauptgründe, warum wir keine doppelblinde Überprüfung verwenden, sind, dass (1) wir nie haben, (2) wir eine haben Gewohnheit, Preprints zu veröffentlichen (wenn auch nicht im gleichen Maße wie Mathematik und Physik), und (3) es besteht allgemeiner Konsens darüber, dass dies einfach nicht erforderlich ist.

Das Standardargument für die doppelblinde Überprüfung ist unnötig ist, dass die Entscheidung, ein bestimmtes Papier anzunehmen oder abzulehnen, objektiver ist als in anderen Bereichen. Es gibt kein Experiment zu beurteilen. Entweder ist der Algorithmus schneller oder nicht; entweder ist der Satz wahr oder nicht; Entweder ist der Beweis tatsächlich ein Beweis oder nicht. (Ich kaufe dieses Argument nicht, insbesondere für seitenbeschränkte Konferenzbeiträge, aber da ist es.)

Sie sollten in der Lage sein, einen Artikel zu lesen und davon auszugehen, dass das Experiment korrekt durchgeführt wurde und ethisch, entscheiden Sie, ob es sich um einen bedeutenden wissenschaftlichen Fortschritt handelt.

Dies sind nicht die einzigen Kriterien, anhand derer wissenschaftliche Forschung beurteilt wird.

Update: Wie @ a3nm in seinem Kommentar hervorhebt, geht die theoretische Informatik langsam in Richtung eines "Lightweight Double-Blind Reviewing" -Protokolls über, das bereits in anderen Bereichen der Informatikforschung üblich ist. "Lightweight Double-Blind" verlangt von den Autoren, dass sie ihre Beiträge ohne identifizierende Informationen einreichen und ihre eigene Arbeit in der dritten Person zitieren. Dies verhindert jedoch nicht, dass Preprints bei arXiv veröffentlicht oder Arbeiten auf Seminaren und Workshops präsentiert werden .

ALENEX, DiSC, ESA, FAccT, FODS und LICS folgen diesem Protokoll bereits, ebenso wie mehrere Konferenzen an der Schnittstelle von theoretischer Informatik und maschinellem Lernen. Große Konferenzen wie SODA diskutieren die Idee zumindest ernsthaft, aber der Wandel ist langsam, und viele (insbesondere hochrangige) Forscher sind entschieden gegen die Idee.

Weitere Informationen finden Sie in diesem Bericht zum Thema Doppel -blinde Überprüfung bei ALENEX 2018 und diese FAQ von POPL 2018.

Ich vermute, Ihr Grund (1) hat einen großen Einfluss. Die Dinge ändern sich nur langsam.
Es gibt ein drittes Argument, das ich für die theoretische Informatik und unsere Konferenzkultur gehört habe: Wenn ein Programmkomitee innerhalb eines relativ kurzen Zeitfensters eine Entscheidung über ein Papier zu einem technischen Thema treffen muss, sollte das Papier je nach Umfang unterschiedlich geprüft werden ob die Autoren bekannte Experten sind.
_das Papier sollte in unterschiedlichem Maße geprüft werden, je nachdem, ob die Autoren bekannte Experten sind_ - Diese Ansicht ist in der theoretischen Informatik ** nicht ** universell. (Meine eigene Ansicht ist, dass dieser Ansatz vernünftig sein könnte, wenn sein Ziel darin besteht, neuen Autoren den Vorteil des Zweifels zu geben. Leider ist dies normalerweise das Gegenteil von dem, was tatsächlich passiert.)
* Das Papier sollte in unterschiedlichem Maße geprüft werden, je nachdem, ob die Autoren bekannte Experten sind *: Dies ist genau der Grund, warum wir in TCS tatsächlich eine doppelblinde Überprüfung durchführen sollten.Dies ist eine offensichtliche Tendenz gegenüber Neuankömmlingen und genau die Art von Dingen, die durch doppelblinde Überprüfungen verhindert werden sollen.
Bei Konferenzbeiträgen mag dies anders sein, aber in der Mathematik wird ein Beitrag (insbesondere in einem Top-Journal) nicht nur auf Richtigkeit bewertet.Nach meiner begrenzten Erfahrung verlangen Zeitschriften auch eine Bewertung, wie originell und wie wichtig die Arbeit ist (normalerweise bieten sie 3 bis 5 Optionen für jedes Kriterium oder unbefristet).Das Objektivitätsargument sollte also mit einem Körnchen Salz aufgenommen werden.
@Remy Oh, das gilt definitiv auch für die renommiertesten theoretischen Informatikkonferenzen.Es reicht nicht aus, richtig zu sein.Um es klar zu sagen: Ich biete das Objektivitätsargument nicht an, weil ich damit einverstanden bin.
Suresh
2013-03-27 09:46:24 UTC
view on stackexchange narkive permalink

Obwohl dieser Artikel von Kathryn McKinley mittlerweile ziemlich alt ist, bietet er eine viel differenziertere Ansicht der Prozesse, die einen doppelblinden Überprüfungsprozess unterstützen würden. Kurz gesagt, es ist nicht so einfach wie "alles doppelblind machen". Es gibt Phasen, in denen es wichtig ist, und es gibt Phasen im Überprüfungsprozess, in denen es nützlich ist, NICHT doppelblind zu sein.

Grob gesagt möchten Sie bei der Erstbewertung eine doppelblinde Überprüfung, da die Wahrscheinlichkeit steigt, dass Personen auf den ersten Blick zu Schlussfolgerungen gelangen. Aber später ist es hilfreich zu wissen, wer die Arbeit macht, denn selbst in der mathematischen Arbeit gibt es ein Vertrauenselement, das in die Bewertung einer Arbeit einfließt (insbesondere in der theoretischen CS, wo die Arbeiten viel zu kurz (und die Fristen zu nahe) sind eine strenge Bewertung der Beweise vornehmen).

Dies stimmt mit einem Slogan überein, den ich aus der soziologischen Untersuchung der Entscheidungsfindung gehört habe, dass Entscheidungsregeln in der ersten "Screening" -Phase oft nicht kompensatorisch sind ("Deal-Breaker" oder "Deal-Maker"), während in der zweiten Phase vonBei näherer Betrachtung sind sie in der Regel kompensatorisch (dh verschiedene Attribute werden gegeneinander gewichtet).Ich würde relevante Lektüre zitieren, wenn ich mit der Literatur genug vertraut wäre ...
Peter Jansson
2013-03-27 01:52:08 UTC
view on stackexchange narkive permalink

Die Antwort ist zumindest teilweise, dass viele Forschungsfelder klein genug sind, damit die meisten Menschen wissen, was andere Forscher oder Forschungsteams tun. Anonymität ist daher unmöglich, da nicht viel erforderlich ist, um herauszufinden, wer das Papier geschrieben hat.

Rezensenten sind (in meinem Bereich) häufig anonym. Ich persönlich mag das nicht, weil es als Autor einfacher ist, die Kommentare zu beurteilen, wenn Sie wissen, wer sie geliefert hat. Wenn Sie anonyme Bewertungen erhalten, können Sie den Ton nicht leicht beurteilen, ob es nur die Art ist, wie sich jemand ausdrückt, oder ob es unhöflich ist (positive Bewertungen sind normalerweise aus irgendeinem Grund nicht schwer zu handhaben).

Ich habe auch in Zeitschriften mit offenen Rezensionen zu sehen, wie anonyme Beiträge voller aggressiver (unprofessioneller) Kommentare sind und daher nicht sehr konstruktiv. Ich denke pesonal, dass Anonymität bei manchen Menschen das Schlimmste bewirkt und Offenheit einen dazu zwingt, sich auf das Konstruktive zu konzentrieren.

Doppelblinde Überprüfungen können also durchgeführt werden, aber ich sehe den Nutzen nicht wirklich, zumindest nicht in meine und verwandte Bereiche, in denen Gemeinden einige Tausend zählen.

Doppelblind bedeutet, dass Autoren und Rezensenten untereinander anonym sind. Ihre Beschwerden gelten gleichermaßen für Single-Blind-Überprüfungen, bei denen nur die Überprüfer anonym sind.
@JeffE Der Prozess umfasst zwei Prozesse, ein verfasstes Manuskript und eine Überprüfung. Selbst wenn beide kombiniert werden, gibt es immer noch zwei Teile mit spezifischen Themen, und ich beschreibe meine Meinung darüber, wie dies in meinem Bereich (nicht) funktionieren würde.
Genau. Ich wünschte, alle Beiträge und Bewertungen wären vollständig öffentlich und nicht anonym. Selbst wenn ein Rezensent nicht herausfinden kann, wer Sie sind, kann es leicht genug sein, herauszufinden, wer Sie nicht sind, und das könnte ausreichen, um Raum für schlechtes Verhalten zu schaffen. Ich denke, wenn Rezensenten ihre Namen vollständig öffentlich unterschreiben müssten, würde dies die Qualität der Rezension erheblich verbessern und auch vor den Dingen schützen, vor denen blinde Rezensionen schützen sollen, aber nicht.
Es ist wenig unangebracht, aber in der Tat interessant, wie Anonymität oft unnötige Unhöflichkeit und Trolling auf der Seite des Rezensenten erzeugt. Seltsamerweise funktionieren fast alle anderen Lebensbereiche, Blogosphären, SE usw. ziemlich gut auf nicht anonyme Weise, wobei der Ruf einer bestimmten Person tatsächlich ihre Argumentation stützt und nicht dagegen.
"_Ich denke, Anonymität bringt bei manchen Menschen das Schlimmste zum Vorschein, und Offenheit zwingt einen dazu, sich auf das Konstruktive zu konzentrieren." Andererseits zwingt Anonymität dazu, nur das zu berücksichtigen, was man sagt, und nicht, wer es gesagt hat.
user38309
2015-10-13 13:04:26 UTC
view on stackexchange narkive permalink

Wie in den anderen Antworten erwähnt, ist Doppelblindung ohnehin oft ein dünner Schleier. Darüber hinaus kann bei einigen Papiertypen die Kenntnis der Autoren eines Papiers zur Beurteilung des Beitragsniveaus beitragen.

Wenn Sie beispielsweise wissen, dass die Autoren einer Reproduzierbarkeitsstudie nicht mit den Autoren eines Originalpapiers übereinstimmen, deutet dies häufig darauf hin, dass das Originalpapier wirklich reproduziert wurde . Im Fall eines experimentellen Informatikpapiers bedeutet dies häufig, dass der Code erneut implementiert wurde. Dies an sich ist ein wertvoller Beitrag (die Reproduktion von Ergebnissen), der nicht zuverlässig anhand einer doppelblinden Aussage wie "Wir implementieren den Algorithmus aus [7]" bewertet werden kann, was sehr wohl bedeuten kann, dass die Autoren denselben Code gerade wiederverwendet haben Basis, die sie in [7] verwendet haben.

Als weiteres Beispiel kann die Kenntnis der Autoren einer Studie ihre Vorurteile aufdecken. Ausgehend von der experimentellen Informatik wählen die Autoren häufig eine Untergruppe von Methoden in der Literatur aus, mit denen sie vergleichen können. Es besteht jedoch ein Anreiz, eigene Techniken (geringerer Entwicklungsaufwand) gegenüber völlig anderen zu wählen. (Hier wünschte ich, ich könnte diese Handlung über die Zeit der Leistung auf dem neuesten Stand der Technik im Verhältnis zur Leistung des am besten ausgewählten Konkurrenten finden, aber ich erinnere mich weder an den Artikelnamen, den Veranstaltungsort noch an den Autor.)

adhalanay
2013-03-27 12:17:37 UTC
view on stackexchange narkive permalink

Im Zeitalter des Internets ist es nicht sehr schwierig, den Namen des Autors zu finden (zumindest mit hoher Wahrscheinlichkeit), insbesondere in einem Bereich mit wenigen Praktizierenden. Siehe zum Beispiel: http://www.newappsblog.com/2012/12/the-journal-reviewing-process-isnt-anonymous-did-you-really-think-it-was-think-again. html.

In der Praxis bleibt also nur der Prüfer anonym.

Nur weil Sie die Einreichung möglicherweise de-anonymisieren können, bedeutet dies nicht, dass eine doppelblinde Überprüfung wertlos ist.Als Rezensent bevorzuge ich, dass die Einreichung selbst doppelblind ist, daher bin ich sicher, dass mich der Ruf des Autors oder der seiner Institutionen nicht voreingenommen macht.und ich werde nicht versuchen, sie zu identifizieren, zumindest nicht, bevor ich eine endgültige Entscheidung über die Einreichung getroffen habe.
O. R. Mapper
2014-08-01 19:58:16 UTC
view on stackexchange narkive permalink

In einigen Bereichen, in denen ein hohes Maß an "praktischer Entwicklung" (erkennbare Prototypen usw.) und nicht "nur" theoretische Konzepte erforderlich sind, ist es häufig unpraktisch, die Identität der Autoren der Einreichung zu versuchen und zu verbergen.

Für eine Konferenz oder ein Journal müssen möglicherweise die Beiträge anonymisiert werden, was eine zusätzliche Belastung für die Autoren darstellt: Die Anonymisierung endet nicht mit dem Entfernen der Autorenliste, bestimmter Abschnitte wie Danksagungen Der Abschnitt em> muss entfernt werden, und Teile des Textes müssen möglicherweise neu geschrieben werden (wenn auf frühere Arbeiten derselben Autoren verwiesen wird und im Abschlusspapier "Wir haben bereits ..." geschrieben wird). Und da es manchmal immer noch offensichtlich ist, dass die aktuelle Einreichung der direkte Nachfolger einer früheren Arbeit ist, muss diese Referenz durch etwas ersetzt werden, das für die doppelblinde Überprüfung entfernt wurde, wodurch die Nützlichkeit der Arbeit natürlich verringert wird Referenzen.

Und dennoch können all diese Faktoren leicht umsonst sein, da beispielsweise CS häufig prototypische Anwendungen umfasst, die wiederholt erweitert werden. Es besteht die theoretische Möglichkeit, dass ein anderer Forscher den Prototyp eines anderen in die Hände bekommen hat. Wenn jedoch die Screenshots in der Einreichung eine bemerkenswerte Ähnlichkeit mit denen in einem zuvor veröffentlichten Werk (*) aufweisen, ist die wahrscheinlichste Erklärung, dass die beiden Werke geschrieben wurden vom selben Autor oder zumindest vom Team.

Da der Versuch, die Einreichung zuverlässig zu blenden, in vielen Fällen nicht möglich ist und nur zu zusätzlicher Arbeit für die Autoren führt (einschließlich der Diskussionen bei der doppelblinden Überprüfung) ist optional), verschiedene Konferenzen / Zeitschriften bieten überhaupt keine doppelblinde Überprüfung an.

(*) Ich sage nicht, dass der gleiche Beitrag zweimal veröffentlicht wird. Ich beziehe mich hier auf "unwichtige" Aspekte wie das allgemeine Layout eines Fensters oder seine Symbolleistensymbole.

avid
2014-08-02 04:15:03 UTC
view on stackexchange narkive permalink

Mir ist nicht klar, dass Doppelblind in einem kleinen Bereich zwangsläufig dazu beiträgt, unparteiischere Bewertungen zu fördern. Sie gewinnen etwas, wenn Sie Vorurteile / Vorurteile beseitigen, die auf dem Wissen der Autoren beruhen. Es wird jedoch viel schwieriger, Interessenkonflikte zu kontrollieren: Es gibt viele nicht offensichtliche Zusammenhänge zwischen Forschern, von denen ein Herausgeber nicht erwarten kann, dass sie davon erfahren. Beim Single-Blind-Reviewing besteht für den Reviewer zumindest die Möglichkeit , abzulehnen, wenn er weiß, dass er die Ansichten des Autors in irgendeiner Weise beeinflusst hat, oder wenn er das Gefühl hat, einen zu hohen Bruchteil von bewertet zu haben die Ausgabe dieses Autors. Wenn alles doppelblind ist, ist es sehr wahrscheinlich, dass sich zum größten Nachteil des Feldes kleine Überprüfungskreise bilden.



ⓘ
Diese Fragen und Antworten wurden automatisch aus der englischen Sprache übersetzt.Der ursprüngliche Inhalt ist auf stackexchange verfügbar. Wir danken ihm für die cc by-sa 3.0-Lizenz, unter der er vertrieben wird.
Loading...