再論同行評議制的局限性和適用性
作者 | 秦四清
以前我寫過幾篇博文【1-2】討論同行評議制存在的問題，這篇就算做個總結吧，簡單概述下同行評議制的局限性和適用性。
按英國Boden教授【3】的觀點，同行評議（方法）是指：「由從事該領域或接近該領域的專家來評定一項工作學術水平或重要性的一種機制（活動）。」
後來，同行評議由方法演變成了一種約定俗成的制度，其廣泛用於論文評審、項目評審、科技成果鑑定和科技獎勵評定等。
同行評議制從誕生起就存在與生俱來的缺陷。
例如，在實行同行評議制的美國國家科學基金會的歷史上, 曾兩次出現對同行評議制的不信任案, 要求國會出面調查同行評議中的不公正性。
王平與趙子良【3】總結了同行評議制的固有缺陷：（1）無法堵塞人情關係；（2）無法防止「馬太效應」；（3）難以堵塞剽竊與造假行為。
以下以論文評審為例，再談談同行評議制的適用性。
先看看廢除同行評議制怎麼樣？
如果沒有同行評議制，那麼那些違反人類業已公認科學原理的論文、homework式的論文、邏輯混亂的胡扯論文等就會登堂入室，譬如「永動機」類的論文或許會刊登在期刊上誤導「吃瓜群眾」。
顯然，同行評議專家在甄別上述「糟糕」論文方面容易達成一致——拒稿。
由此看來，雖然同行評議制不是萬能的，但沒有同行評議制是萬萬不能的。
那麼，在甄別高創新性工作方面，同行評議專家能否展現出「火眼金睛」的功力呢？創新性越強的論文越容易發表在高大上的期刊上嗎？
2015年《PNAS》發表的一篇文章【4】指出：同行評議專家常常推薦接受平庸論文而拒絕有開創性貢獻的論文；2016年《PNAS》發表的另一篇文章【5】指出：同行之間的競爭會導致更多不公平的評議、降低評議意見的一致性，以至於把不少高質量的工作拒之門外；2017年《Nature》發表的一篇文章【6】指出：高創新性論文傾向於發表在較低影響因子的期刊上。
這意味著同行評議制通常適用於識別「糟糕」工作與「從1到N」的工作，而難以勝任甄別「從0到1」的工作。
2009年以前，我們無論將稿件投到中文期刊還是英文期刊，幾乎「百發百中」，因為那都是改進式的工作。
搞笑的是，評議專家往往給予此類稿件相當高的評價。
例如，我們考慮岩質平面滑動型斜坡的滑面介質由應變軟化和應變硬化介質組成，引入突變理論和混沌動力學理論分析其演化過程，寫了篇比過去工作有些進步的「雞肋」論文《Nonlinear evolutionary mechanisms of instability of planar-slip slope: catastrophe, bifurcation, chaos and physical prediction》，投稿到本領域內的權威SCI期刊《Rock Mechanics and Rock Engineering》，該期刊返回的審稿意提及：「The referees are favourable to publishing the paper based on the motivation that the topic is interesting and contributes in an important manner to the state of the art.」
呵呵。
然而自從我們2009年一頭扎進「鎖固段」中，提出鎖固段脆性破壞理論以來，麻煩來了，論文發表開始變的困難重重。
記得2009年下半年，我們把《崩滑災害臨界位移演化的指數律》投稿到《岩石力學與工程學報》，沒過一周收到了退稿意見，大意是「斜坡的地質條件很複雜，即使存在鎖固段，鎖固段也應有多種類型。每種類型鎖固段受降雨、地震、開挖等作用，其演化過程也很複雜，不可能存在位移比值常數1.48。」
意見很明確，認為我們在胡扯，專家不相信我們的結論。
看到該審稿意見，我相當不服覺得應該申辯下，立馬打電話給該期刊常務副主編：「至於存不存在常數，相不相信論文的結論，不要靠常規經驗和想像做出判斷。需要提醒的是，如果專家認為我們的公式推導在假設條件、推導過程、公式簡化方面有問題，請指出具體問題在哪裡？如果專家認為我們的滑坡實例分析有問題，也請告訴我們具體問題在哪裡？如果指不出具體問題所在，靠拍腦袋做決定，這不是科學的做法，則拒稿理由不成立。」
後來，該期刊另找了別的同行專家，該論文才得以面世。
縱觀科學史，高創新性工作在初期均難得到同行認可和支持，這歷來是一種常態，其原因在於同行專家的「認知局限」【7】或「利益衝突」。
關於此，丁肇中先生【8】曾說過一句名言：「專家評審並不是絕對有用的，因為專家評審是依靠現有的知識，而科學的進展是推翻現有的知識。」
一般說來，論文的創新程度越大，則「離經叛道」的程度越大，初期被別人理解的難度也越大。
換句話說，在原創初期，真理通常掌握在少數人手裡。
如何提高專家甄別高創新性工作的能力呢？
除了不斷提升自己的科學鑑賞力外，重要的一點是：要看某項工作本身的邏輯自洽性和初步證據的強壯性，而不應看與過去認識的一致性。即使該工作不夠系統和深入，也不要輕易否定，而應鼓勵發表。
如此，才能保護創新火苗初期不被熄滅，才可能使「星星之火得以燎原」。
這應是任何一個合格的評議專家職責所在！
參考
【1】再扯扯「同行評議」的適用性
http://blog.sciencenet.cn/blog-575926-1061673.html
【2】如何發表NI（Nature Index）論文？
http://blog.sciencenet.cn/blog-575926-1100706.html
【3】王平，宋子良(1994). 同行評議制的固有缺點與局限性.科技管理研究，(4),22-26.
【4】Siler, K., Lee, K., & Bero, L. (2015). Measuring the effectiveness of scientific gatekeeping. Proceedings of the National Academy of Sciences,112(2), 360-5.
【5】Robert L. Goldstone，Dirk Helbing (2016). Peer review and competition in the Art Exhibition Game.Proceedings of the National Academy of Sciences,113(30),8414-8419.
【6】Paula Stephan, Reinhilde Veugelers, Jian Wang (2017). Blinkered by bibliometrics. Nature, 544(7651) 411-412.
【7】）文雙春，2016-08-19，基金掛了只因沒創新或評委不懂？
http://blog.sciencenet.cn/blog-107667-999493.html
【8】丁肇中：一生最重要選擇就是只做一件事
http://news.sciencenet.cn/htmlnews/2014/10/305802.shtm
轉載本文請聯繫原作者獲取授權，同時請註明本文來自秦四清科學網博客。
連結地址：http://blog.sciencenet.cn/blog-575926-1176096.html
請按下方二維碼3秒識別