Hoe peer review werkt in de sociale wetenschappen

Collegiale toetsing is, althans in opzet, de manier waarop de redacteuren van wetenschappelijke tijdschriften proberen de kwaliteit van artikelen te behouden in hun publicaties hoog en verzekeren (of proberen te verzekeren) dat slecht of misleidend onderzoek niet gepubliceerd wordt. Het proces hangt samen met politieke en economische kwesties ambtstermijn en loonschalen, in die zin dat een academicus die deelneemt aan het peer review-proces (als auteur, redacteur of recensent) wordt beloond voor die deelname aan een toename van de reputatie die kan leiden tot een toename van de loonschalen, in plaats van directe betaling voor diensten weergegeven.

Met andere woorden, geen van de mensen die betrokken zijn bij het beoordelingsproces wordt betaald door het betreffende tijdschrift, met als enige uitzondering (misschien) een of meer redactionele medewerkers. De auteur, redacteur en recensenten doen dit allemaal voor het prestige dat bij het proces betrokken is; ze worden meestal betaald door de universiteit of het bedrijf dat ze in dienst heeft, en in veel gevallen is die vergoeding afhankelijk van het verkrijgen van publicatie in peer-reviewed tijdschriften. De redactionele assistentie wordt in het algemeen gedeeltelijk verleend door de universiteit van de redacteur en gedeeltelijk door het tijdschrift.

De manier waarop academische peer review werkt (althans in de sociale wetenschappen), is dat een geleerde een artikel schrijft en dit ter beoordeling voorlegt aan een tijdschrift. De editor leest het voor en vindt tussen drie en zeven andere wetenschappers om het te beoordelen.

De recensenten die zijn geselecteerd om het artikel van de wetenschapper te lezen en erop te reageren, worden door de redacteur gekozen op basis van hun reputatie in het specifieke veld van het artikel, of ze worden vermeld in de bibliografie, of als ze persoonlijk bekend zijn bij de editor. Soms suggereert de auteur van een manuscript enkele recensenten. Nadat een lijst met recensenten is opgesteld, verwijdert de editor de naam van de auteur uit het manuscript en stuurt een kopie door naar de gekozen stevige harten. Dan verstrijkt de tijd, meestal veel, tussen twee weken en enkele maanden.

Wanneer alle recensenten hun opmerkingen hebben geretourneerd (rechtstreeks op het manuscript of in een afzonderlijk document), neemt de redacteur een voorlopige beslissing over het manuscript. Moet het worden geaccepteerd zoals het is? (Dit is zeer zeldzaam.) Moet het worden geaccepteerd met wijzigingen? (Dit is typisch.) Moet het worden afgewezen? (Dit laatste geval is ook vrij zeldzaam, afhankelijk van het tijdschrift.) De redacteur verwijdert de identiteit van de recensenten en stuurt de opmerkingen en haar voorlopige beslissing over het manuscript naar de auteur.

Als het manuscript met wijzigingen is geaccepteerd, is het aan de auteur om wijzigingen aan te brengen totdat de redacteur ervan overtuigd is dat aan de reserveringen van de reviewers is voldaan. Uiteindelijk, na verschillende ronden heen en weer, wordt het manuscript gepubliceerd. De periode van het indienen van een manuscript tot publicatie in een wetenschappelijk tijdschrift duurt meestal zes maanden tot meer dan een jaar.

Problemen die inherent zijn aan het systeem zijn onder meer de tijdspanne tussen indiening en publicatie, en de moeite om recensenten te krijgen die de tijd en de neiging hebben om doordacht constructief te geven beoordelingen. Kleine jaloezie en volledige politieke meningsverschillen zijn moeilijk te bedwingen in een proces waarin niemand aansprakelijk wordt gesteld voor een specifieke reeks opmerkingen over een bepaald manuscript en waarbij de auteur niet in staat is om rechtstreeks met haar recensenten te corresponderen. Er moet echter worden gezegd dat velen beweren dat de anonimiteit van het blinde beoordelingsproces een recensent in staat stelt vrijelijk te verklaren wat hij of zij over een bepaald artikel gelooft zonder angst voor represailles.

De ontluikende van de internet in het eerste decennium van de 21ste eeuw heeft een enorm verschil gemaakt in de manier waarop artikelen worden gepubliceerd en beschikbaar gesteld: het peer review-systeem is vaak problematisch in deze tijdschriften, voor een aantal redenen. Open access publiceren - waarin gratis concept- of voltooide artikelen worden gepubliceerd en voor iedereen beschikbaar worden gesteld - is een prachtig experiment dat enige problemen heeft gehad om aan de slag te gaan. In een paper uit 2013 Wetenschap, John Bohannon beschreef hoe hij 304 versies van een paper over een nep-wondermedicijn voorlegde aan open-access tijdschriften, waarvan meer dan de helft werd geaccepteerd.

In 2001 verscheen het tijdschrift Gedragsecologie veranderde het peer-review systeem van een systeem dat de auteur identificeerde in reviewers (maar reviewers bleven bestaan anoniem) voor een volledig blinde persoon, waarbij zowel de auteur als de reviewers anoniem zijn voor elkaar. In een paper uit 2008 rapporteerden Amber Budden en collega's dat statistieken waarin de artikelen worden vergeleken die zijn geaccepteerd voor publicatie voor en na 2001 gaven aan dat er sinds het dubbelblinde proces aanzienlijk meer vrouwen in BE zijn gepubliceerd begon. Vergelijkbare ecologische tijdschriften die in dezelfde periode single-blind reviews gebruiken, duiden niet op een vergelijkbare groei in de aantal artikelen geschreven door vrouwen, waardoor onderzoekers geloven dat het proces van dubbelblinde beoordeling kan helpen met de 'glazen plafond' effect.

• Bohannon, John. "Wie is er bang voor peer review?" Science, vol. 342, nee. 6154, American Association for the Advancement of Science (AAAS), oktober 2013, pp. 60–65.
• BUDDEN, A., et al. “Dubbelblinde recensie is voorstander van een grotere vertegenwoordiging van vrouwelijke auteurs. " Trends in Ecology & Evolution, vol. 23, nee. 1, Elsevier BV, januari 2008, pp. 4–6.
• Carver, Martin. “Archeologie Tijdschriften, Academici en Open Access. " European Journal of Archaeology, vol. 10, nee. 2–3, Cambridge University Press (CUP), 2007, pp. 135–48.
• Chilidis, Konstantinos. “Nieuwe kennis versus consensus - een kritische opmerking over hun relatie op basis van het debat over het gebruik van vatgewelven in Macedonische graven. " European Journal of Archaeology, vol. 11, nee. 1, Cambridge University Press (CUP), 2007, pp. 75–103.
• Etkin, Adam. “Een nieuwe methode en meetmethode om het peerreviewproces van wetenschappelijke tijdschriften te evalueren. " Publishing Research Quarterly, vol. 30, nee. 1, Springer Science and Business Media LLC, december 2013, pp. 23–38.
• Gould, Thomas H. P. “De toekomst van peer review: vier mogelijke opties voor niets. " Publishing Research Quarterly, vol. 28, nee. 4, Springer Science and Business Media LLC, oktober 2012, pp. 285–93.
• Vanlandingham SL. Buitengewone voorbeelden van misleiding in Peer Review: Concoction of the Dorenberg Skull Hoax and Related Wisconduct. 13e wereld multi-conferentie over systemica, cybernetica en informatica: internationaal symposium over peer review. Orlando, Florida. 2009.
• Vesnic-Alujevic, Lucia. “Peer Review en wetenschappelijke publicatie in Times of Web 2.0.”Publishing Research Quarterly, vol. 30, nee. 1, Springer Science and Business Media LLC, februari 2014, pp. 39–49.
• Weiss, Brad. “Opening Access: Publics, Publication, and a Path to Inclusion. " Culturele antropologie, vol. 29, nee. 1, American Anthropological Association, februari 2014, pp. 1–2.