学术桥 >  学术评审 >  专家观点

发展完善同行评议制度

《中国社会科学报》 李江 2021-04-06 关注学术桥

微信订阅号

同行评议已成为学术界最常用的评价制度,但其还有待完善。目前同行评议存在哪些问题,又该如何解决?

  1665年,英国皇家学会出版了世界上第一本学术期刊——《哲学汇刊》,同时也建立了沿用至今的发表流程——来稿登记、同行评议(评议工作最初仅由皇家学会理事会成员完成,评议程序到19世纪30年代后得以完善)、发布、建档等。如今,同行评议已成为学术界最常用的评价制度,广泛应用于学术论文评审、基金分配、人才遴选、学科评估等活动中。1978年,普赖斯奖(科学计量学领域)获得者Francis Narin最先提出在评价活动中同行评议与定量指标关系的观点:同行评议的结果虽然不及定量指标(发文量、被引次数等)客观,但更能揭示被评价对象的真实状态。科学界对该观点普遍认可,也有大量同行评议的最佳实践。例如,自诺贝尔科学奖开始评选至今100多年来,在科学界仍保持较高的地位,其完全依赖同行评议,而非定量指标。

  同行评议制度亟待完善

  科学评价中的同行评议并不完善。在实践中,评议人个人情感偏好、评审与利益挂钩、竞争、人情社会或熟人社会中的“关系”等因素,都或多或少干扰着同行评议结果。一直以来,同行评议自身也存在着一定的问题和缺陷。

  第一,同行判断研究的科学性时依据的是个人经验和逻辑,无须评议人亲自验证。在审阅投稿阶段的研究论文时,评议人通常只是根据自己的经验和逻辑作出判断,无须重复被评议的研究中的实验,这一制度性缺陷使得一些无法重复的实验结果能够顺利通过同行评议。在评议已经发表的期刊论文、会议论文的贡献时,评议人通常倾向信任审稿阶段的同行评议过程,进而根据经验以及论文所发表的期刊或会议的重要程度评判其贡献,这一过程中,评议人更无须去重复被评议的研究中的实验。这一制度性缺陷给学术不端造成了可乘之机。

  第二,同行能从众多的科学发现中剔除差的,但很难识别出开创性贡献。科学守门人主要指学术期刊的编辑与审稿人,他们从专业上肯定科学发现,同时,他们也引领着科学的发展方向。加拿大多伦多大学 Kyle Siler 等人发表在美国科学院院刊PNAS上的实验结果表明:科学守门人在同行评议过程中的贡献主要表现在“能从众多的科学发现中剔除差的”,但“很难识别出开创性贡献”,论文的核心创新性也很难在同行评议过程中得以提升。

  第三,同行评议在基金项目评审中的效果有限。性别差异、族裔差异、年龄差异、身份地位差异,都可能使得同行评议不能准确揭示被评价对象的真实状态。

  推动建立科学的同行评议制度

  规避同行评议的非制度性缺陷、规范同行评议的操作过程。同行评议制度仍然比定量指标更值得信赖,因此,它也是在破“四唯/五唯”、反对 SCI 至上之后,应该要“立”的科学评价方案。

  首先,在同行评议中践行“科学家精神”。习近平总书记在科学家座谈会上提出要大力弘扬科学家精神。在对科学家精神的诠释中,“追求真理、严谨治学的求实精神”将在很大程度上完善我国同行评议制度,给破“四唯/五唯”、反对 SCI 至上之后,完善“同行评议”带来了契机。同行评议依赖于学术共同体的科学家精神,当科学家在同行评议中以追求真理为考量标准时,将极大提升同行评议结果的可信度。学术界对于诺贝尔科学奖的信任,源于对诺贝尔科学奖评选过程中同行评议的信任。行业学会、学术组织与团体可在专业领域起草建议性宣言,提出评议行为准则,倡导科学家与科研人员在同行评议过程中践行科学家精神,进而逐步在良性循环中提升科研工作者对于同行评议的信任感。 

  其次,充分发挥学术共同体在同行评议中的作用。同行评议过程中,组织方在遴选专家时的偏好在很大程度上影响着评议结果,并削弱了学术共同体在同行评议中的作用。因此,为了让评议结果能够代表所有同行,遴选专家时首先应遵循回避制度,以避免利害关系与行政力量影响评议结果;同时应遵循小同行评审制度,让真正懂的人对成果、项目、人、机构做出评价;此外,还应完善元评价制度,即对专家的评议表现和评议结果进行评价,以作为后续遴选专家的依据。

  在同行评议过程中,专家对于期刊影响因子、期刊分区、发文量、被引次数等定量指标的依赖在很大程度上削弱了学术共同体在同行评议中的作用。在宏观评价中,可适度为专家提供定量数据作为辅助,例如,英国高校科研卓越框架REF为专家提供文献计量指标;但在微观评议中(包括论文、个人等),应该避免依赖文献计量指标,而充分发挥学术共同体的作用。

  最后,以“开放”监督同行评议过程。公开并不是同行评议制度的必要条件,并且会给评议人带来忧虑,因此,在多数情况下,同行评议是匿名进行的。但是,在难以保证评审人不被非学术因素干扰的情况下,让同行评议过程接受社会监督未尝不是一种可行的方案。

  开放同行评议包括开放评审人身份、开放评审报告、开放参与评审三种模式。国家自然科学基金委员会在科研项目和人才项目评价中采用了(在评议活动结束后)开放评议人名单的开放同行评议模式。PLoS(美国科学公共图书馆)、BMC(BioMedCentral出版社)、Nature Communications、EMBO(欧洲分子生物学组织)等一些学术出版集团、学术期刊、学术组织在论文评价中采用了开放评审报告的开放同行评议模式。F1000 (由全球医学和生物学专家组成的,为科研人员和临床医生提供快速发现、评价和发表为一体的综合服务系统)中的 F1000Prime采用了开放参与评审的开放同行评议模式(事后评价模式)。开放同行评议能在一定程度上解决传统同行评议过程中的不透明、缺乏激励等问题,全球范围内加入开放同行评议的出版集团、学术期刊、学术组织、科研管理部门越来越多。(作者系南京大学信息管理学院教授)

特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性。
如果作者不希望被转载,请与我们联系。
扫码关注学术桥
关注人才和科研