同行評(píng)審的優(yōu)勢(shì)
同行評(píng)審是由一個(gè)或多個(gè)與文章(當(dāng)然也可能是代碼等其他情況)的撰寫者具有相似能力的人(同行)對(duì)文章進(jìn)行的評(píng)價(jià)。它作為相關(guān)領(lǐng)域內(nèi)合格專業(yè)人士的一種自我監(jiān)管形式發(fā)揮作用。同行評(píng)審方法用于維持質(zhì)量標(biāo)準(zhǔn)、提高性能和提供可信度。在學(xué)術(shù)界,學(xué)術(shù)同行評(píng)審?fù)ǔS糜诖_定學(xué)術(shù)論文是否適合發(fā)表。在技術(shù)公司,同行評(píng)審?fù)ㄟ^作為過程文檔是否適合基線歸檔發(fā)布的前置條件。
長期以來,同行評(píng)審是學(xué)術(shù)出版和文檔基線不可或缺的一環(huán),也是受到科技界高度認(rèn)可的一種文化和最佳實(shí)踐。有調(diào)查顯示,絕大多數(shù)人(85%)同意 “同行評(píng)審極大地幫助科技交流”,甚至更多人(約90%)表示他們自己最近寫的文章通過同行評(píng)審得到了改進(jìn)。但事情真的都是這樣嗎?
同行評(píng)審在期刊評(píng)審中的缺陷
隨著科學(xué)競(jìng)爭(zhēng)日漸激烈、需要審核的文章數(shù)量暴增,傳統(tǒng)同行評(píng)審在科技界也暴露了很多的問題。在傳統(tǒng)的期刊同行評(píng)審過程中,審稿人對(duì)除期刊編輯以外的任何人保持匿名,而作者姓名從一開始就被公開。也就是說,作者是不知道自己文章的評(píng)審意見是被誰提的。但是審稿人都知道作者是誰。大家發(fā)現(xiàn)問題沒有?這里面存在審稿人打黑槍的機(jī)會(huì)。所以近些年,對(duì)它的爭(zhēng)議越來越明顯,基本上分為以下幾種爭(zhēng)議:
-
同行評(píng)審會(huì)出現(xiàn)對(duì)創(chuàng)新思想感知層面對(duì)同質(zhì)化趨勢(shì)。也就是說,傳統(tǒng)想法的審稿人往往會(huì)給創(chuàng)新的文章或者觀點(diǎn)打低分,而創(chuàng)新想法的審稿人往往會(huì)給創(chuàng)新文章或者觀點(diǎn)打高分。但情況基本上都是前者居多。大部分評(píng)審者都不會(huì)垂青爭(zhēng)議性很大的文章。很多重大會(huì)議的投稿接受率很低,有些甚至不到10%,而往往是這樣,很多標(biāo)新立異的文章和觀點(diǎn)因?yàn)橥性u(píng)審而被事先淘汰掉了。
-
審稿人往往無法做到對(duì)文章和觀點(diǎn)的完全仔細(xì)地審核,更不要說投入和撰稿人一樣的精力了。這種狀況往往導(dǎo)致對(duì)很多文章理解表面化,提出的評(píng)審意見也多隨意性。甚至,很多時(shí)候,審稿人的專業(yè)性還遠(yuǎn)遠(yuǎn)低于撰稿人的水平。
-
很多審稿人的評(píng)論非常刻薄。一項(xiàng)基于同行評(píng)審意見庫的研究發(fā)現(xiàn),通常認(rèn)為審稿人評(píng)論的本應(yīng)該是數(shù)據(jù)、論證、研究方法等等,對(duì)事不對(duì)人,然而殘酷的現(xiàn)實(shí)情況是審稿人對(duì)撰稿人個(gè)人能力的批評(píng)占到了評(píng)審意見的24.5%。近乎人身攻擊的批評(píng)在同行評(píng)審里并不少見。辛辛苦苦寫出的文章和做出的研究工作收到這樣的侮辱性評(píng)價(jià),撰稿人感覺 “泄氣、被貶低和惱怒” 也是顯而易見的。一項(xiàng)研究調(diào)查了來自46個(gè)國家和14個(gè)學(xué)科的1106名科學(xué)家。超過一半的受訪者報(bào)告說至少收到了一次 “不專業(yè)” 的評(píng)論,其中大多數(shù)人表示他們收到了多條類似問題的評(píng)論。從結(jié)果上看,這些刻薄評(píng)論會(huì)傷害到科技人員的產(chǎn)出,尤其是更容易自我懷疑的弱勢(shì)群體。
-
同行評(píng)議速度慢、效率低下。有調(diào)查發(fā)現(xiàn),科研人員對(duì)同行評(píng)審最不滿的地方是評(píng)審周期太長。有67%受訪者如果能在30日內(nèi)接收到評(píng)審意見,會(huì)表示滿意,但如果延至3個(gè)月至6個(gè)月時(shí),這個(gè)滿意比例會(huì)驟減到10%。
-
撰稿人的妥協(xié)。在科技競(jìng)爭(zhēng)日漸激烈的今天,如果一篇文章被拒被迫轉(zhuǎn)投其他期刊,不僅僅是延遲發(fā)表的事兒,而很可能因?yàn)檫^了保鮮期,必須放棄投稿。所以,一般而言,文章作者都會(huì)屈從大多數(shù)評(píng)審人的意見,而不管自己是否認(rèn)可這些意見。結(jié)果往往一篇觀點(diǎn)鮮明的文章,經(jīng)過同行評(píng)審卻被改得面目全非,補(bǔ)充一堆不是很重要的信息和數(shù)據(jù),讓文章變得繁瑣冗長。
那么同行評(píng)審有改進(jìn)空間嗎?當(dāng)然有,這里有兩種改進(jìn)方向:一項(xiàng)改進(jìn)是雙盲評(píng)審(Double-blinding),增加神秘感,撰稿人和審稿人雙方都不知道對(duì)方是誰。還有一項(xiàng)改進(jìn)是開放同行評(píng)審(Open Peer Review),也就是增加同行評(píng)審的流程透明度。下面我們就分別說說這兩項(xiàng)改進(jìn)。
雙盲同行評(píng)審
雙盲同行評(píng)審意味著作者和審稿人的身份都被隱藏起來。考慮到開黑槍的情況,所以假設(shè)如果審稿人不知道作者的身份,將防止審稿人形成任何偏見和利益沖突。理論上,雙盲法可以更公平地評(píng)估研究文章內(nèi)容和質(zhì)量。
雙盲法是在藥物科學(xué)實(shí)驗(yàn)做對(duì)照比較時(shí)的標(biāo)準(zhǔn)程序。受試者不清楚自己到底服用的到底是潛在的藥物,還是安慰劑。評(píng)估者同樣不知道。這樣做法會(huì)將實(shí)驗(yàn)偏差降到最低。
自 2015 年 3 月起,《自然》雜志為作者添加了選擇是否愿意保持匿名的選項(xiàng)。盡管這一改進(jìn)同行評(píng)審的步驟應(yīng)該受到贊揚(yáng),但該過程是可選的這一事實(shí)可以說與目的背道而馳。它可能會(huì)導(dǎo)致知名度高的研究人員保留他們的姓名和隸屬關(guān)系,而審稿人可能會(huì)認(rèn)為所有匿名手稿都來自不知名或低調(diào)的研究人員。
另外,審稿人如果是圈內(nèi)人,也很容易根據(jù)作者的論文描述和參考文獻(xiàn)找到線索推導(dǎo)出作者可能是誰。這就形成了一種虛假安全的陷阱。當(dāng)審稿人根據(jù)論文內(nèi)容推斷出作者時(shí),雙盲程序變成了單盲審查,這種黑槍打出來,審稿人還可以不知道作者是誰來加以推脫。這種情況下,防止偏見的保障消失了,雙盲過程的虛假安全成了一個(gè)陷阱,它反而鼓勵(lì)了本應(yīng)防止的偏見。
開放同行評(píng)審
德國海德堡大學(xué)的岡瑟·艾森巴赫 ( Gunther Eysenbach ) 在1999年創(chuàng)建了一個(gè)網(wǎng)絡(luò)醫(yī)學(xué)和電子健康研究單位,并牽頭組織了世界醫(yī)學(xué)互聯(lián)網(wǎng)大會(huì)。他也同時(shí)搞了一個(gè)可以開放獲取的醫(yī)學(xué)互聯(lián)網(wǎng)研究雜志《Journal of Medical Internet Research》(簡(jiǎn)稱JMIR),在這個(gè)期刊雜志中,他改革了同行評(píng)審的策略。從一開始就決定在每篇發(fā)表文章的底部公布審稿人姓名。這一做法,立即得到了《英國醫(yī)學(xué)雜志》的響應(yīng),他們也轉(zhuǎn)向開放式同行評(píng)審,向作者而非讀者公開審稿人的身份。
2014年,由世界上期刊文章產(chǎn)量最大的出版商“多學(xué)科數(shù)字出版研究所”MDPI (Multidisciplinary Digital Publishing Institute)出版的《生命》(Life)雜志,提供了一種開放的同行評(píng)審系統(tǒng)。在該系統(tǒng)下,同行評(píng)審報(bào)告和作者的回復(fù)作為每篇文章最終版本的組成部分發(fā)表。
總結(jié)下來,開放同行評(píng)審基本用到了三種策略和手段:
-
公開身份:作者和審稿人知道彼此的身份。揭開審稿人的神秘面紗,讓作者知道評(píng)審人是誰。
-
公開評(píng)審報(bào)告:評(píng)審報(bào)告與相關(guān)文章一起發(fā)布(而不是保密),如果想人身攻擊作者,或者隨便寫評(píng)審意見的話,審稿人也要掂量掂量。黑槍會(huì)公示天下。
-
開放參與:更廣泛的社區(qū)(而不僅僅是受邀的審閱者)能夠?yàn)閷忛嗊^程做出貢獻(xiàn)。這種方式可能會(huì)得到更多的專業(yè)意見,也會(huì)挖掘掃地僧之類的審稿高人。當(dāng)然,這種方式假設(shè)的前提是作者要同意這篇文章在發(fā)表前已經(jīng)公示天下,對(duì)外公開了。不過這個(gè)開放參與,還有一個(gè)審稿人的篩選機(jī)制,也就是有限的對(duì)外公開。想做審稿人的話,必須先撰寫自己的簡(jiǎn)歷和過往同行評(píng)審經(jīng)驗(yàn)經(jīng)歷,以及自己的專業(yè)領(lǐng)域擅長及其證明等等,然后達(dá)到可以作為審稿人的水準(zhǔn)的前提下,才能看到文章。
總體而言,公開審稿人身份,會(huì)讓評(píng)審流程透明化,審稿人比他們?cè)谥澳涿麪顟B(tài)評(píng)審時(shí)“更認(rèn)真、誠實(shí)和更富建設(shè)性”,同時(shí)讓作者知道到底哪些人對(duì)他文章的觀點(diǎn)保持?jǐn)骋饣蛘叱址磳?duì)意見。
開放同行評(píng)審的唯一顯著負(fù)面影響是“增加了審稿人拒絕審稿的可能性”。一項(xiàng)對(duì)2010至2017年5種期刊上公開發(fā)布的同行評(píng)議意見的研究發(fā)現(xiàn),只有8.1%的審稿人愿意在公開的評(píng)審報(bào)告上署上自己的姓名。當(dāng)然評(píng)審意見發(fā)表也可以做到隱秘審稿人身份,或者多個(gè)審稿人評(píng)審意見進(jìn)行整合,和文章一并發(fā)表。這些能做到某種程度的平衡。
2022年10月份,eLife發(fā)布了一種新的發(fā)布機(jī)制。所有經(jīng)過同行評(píng)審的文章和評(píng)審意見一起作為 “已評(píng)審預(yù)印本” (Reviewed Preprint)在eLife的網(wǎng)站上發(fā)布。而雜志社不再根據(jù)同行評(píng)審意見做出接受或者拒絕文章發(fā)表的決議。最后,甚至包括作者對(duì)這些評(píng)審意見的回應(yīng),也作為發(fā)表的一部分。也就是說,作者才是發(fā)表還是不發(fā)表的,接受和不接受評(píng)審意見是否進(jìn)行修訂的最終決定人。從 2023 年 1 月 31 日起,所有向 eLife 提交研究論文的作者都將遵循這一新流程。這個(gè)流程大致如下:
1.提交
作者提交論文后,會(huì)得到論文是否會(huì)被邀請(qǐng)進(jìn)行下一步同行評(píng)審的回復(fù)。
2. 同行評(píng)審
論文將接受該領(lǐng)域?qū)<业淖稍儗彶椋⑹杖〕霭尜M(fèi)。然后,作者將收到 eLife 評(píng)估、公開評(píng)論和審稿人關(guān)于如何改進(jìn)論文的機(jī)密建議。
3. 出版
作者的論文作為已評(píng)審預(yù)印本連同 eLife 評(píng)估和公眾評(píng)論一起發(fā)布在 eLife 的網(wǎng)站上。然后它是可引用的。eLife 評(píng)估反映了研究結(jié)果的重要性以及預(yù)印本中報(bào)告的證據(jù)強(qiáng)度。作者還可以繼續(xù)對(duì)評(píng)估和評(píng)論給予回應(yīng)。
4.作者修改
作者可以決定是否進(jìn)行進(jìn)一步修訂,以及是否以及何時(shí)重新提交。如果作者修改,eLife將發(fā)布一份新的已評(píng)審預(yù)印本 ,其中包含更新的評(píng)論和評(píng)估。
5.記錄版本
在同行評(píng)審之后的任何時(shí)候,作者都可以選擇將評(píng)審預(yù)印本作為“記錄版本”發(fā)布。在作者校對(duì)并符合期刊政策后,eLife 會(huì)將作者的論文發(fā)送到 PubMed (PubMed是一個(gè)免費(fèi)的搜索引擎,主要訪問生命科學(xué)和生物醫(yī)學(xué)主題的參考資料和摘要的MEDLINE 數(shù)據(jù)庫。)上進(jìn)行索引。
寫在最后eLife的這種做法是否會(huì)成為一種新的期刊同行評(píng)審的新的規(guī)則呢?這個(gè)需要拭目以待。一個(gè)規(guī)則如果做得好,大家都會(huì)去擁抱它。但開放同行評(píng)審,由于評(píng)審記錄是公開發(fā)表的文字,所以可能會(huì)引發(fā)審稿人更為斟字酌句,無形中也會(huì)拉長評(píng)審的時(shí)間。
還有一種觀點(diǎn)認(rèn)為,同行評(píng)審不是期刊問題的根結(jié),最大的問題是以期刊為中心的學(xué)術(shù)出版制度:很多期刊被學(xué)術(shù)界看得過重,導(dǎo)致投稿過于集中,對(duì)所謂 “頂刊” 的崇拜越來越厲害。為了提高在“頂刊“上被接納評(píng)審?fù)ㄟ^的概率,投稿人也會(huì)鉆空子,他們會(huì)故意迎合期刊歷史上審稿人的觀點(diǎn),而不去寫大膽創(chuàng)新的文章,這就不是簡(jiǎn)單同行評(píng)審的改革本身能解決得了的了。
原文標(biāo)題:河套IT TALK 27:同行評(píng)審的歷史與未來
文章出處:【微信公眾號(hào):開源技術(shù)服務(wù)中心】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
開源技術(shù)
+關(guān)注
關(guān)注
0文章
389瀏覽量
7963 -
OpenHarmony
+關(guān)注
關(guān)注
25文章
3728瀏覽量
16405
原文標(biāo)題:河套IT TALK 27:同行評(píng)審的歷史與未來
文章出處:【微信號(hào):開源技術(shù)服務(wù)中心,微信公眾號(hào):共熵服務(wù)中心】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論