一次预警,就让某期刊2021年在中国的收入少了7000万元,这是杨立英和团队在制作这份针对国际期刊的预警名单时没有想到的。
作为中国科学院文献情报中心(以下简称“文献中心”)研究员、计量与评价部的主任,杨立英近年来带领团队围绕科研诚信开展了一系列工作,推出《国际期刊预警名单(试行)》(以下简称“预警名单”)是其中的一次尝试。
她已在科学计量研究与科技评价领域深耕了近20年,见证了国际期刊上中国科学家从“跟不上研究热点、游离在圈子之外”到跟踪研究热点、甚至“一窝蜂抢热点”的变化。
中国科技论文被SCI(科学引文索引)收录的数量已由2004年的5.7万篇增长到2022年的78万余篇,已位居世界第一位。然而,这些年来,中国的科研诚信问题日益受到关注,被曝出过数起大规模撤稿和“论文工厂”事件。
从2004年开始,文献中心推出期刊分区表,通过科学计量学评估国际学术期刊的学术影响力。今年1月13日,文献中心组建成立科研诚信研究中心,推动科研诚信研究和建设。担任该中心执行主任的杨立英说,“做学术评价既要评好坏,也要评一评它是不是有问题”。她和团队意识到,如果学术不端的行为得不到遏制,接下来会更糟,“任其发展,不是能不能发表高水平论文的问题了,而是你只要发表文章别人就会质疑。”
涉及论文工厂的学术期刊遭到预警
文献中心的第一版预警名单,在2020年的最后一天发布。名单纳入了10个学科大类的65本期刊。其中包括高预警等级的期刊8本,中预警等级的期刊28本,低预警等级的期刊29本,医学领域的预警期刊数量最多,为26本。
2021年年初,杨立英办公室的电话就被“打爆”了。名单所有涉及的期刊及其出版商都找到文献中心,希望得知自己为什么“榜上有名”。
这并不是中国学术界第一份“期刊预警名单”,2018年,中共中央办公厅、国务院办公厅印发《关于进一步加强科研诚信建设的若干意见》,要求科技部建立学术期刊预警机制,支持相关机构发布国内和国际学术期刊预警名单,并实行动态跟踪、及时调整。将罔顾学术质量、管理混乱、商业利益至上,造成恶劣影响的学术期刊,列入黑名单。
此后,一些高校、科研院所和医院就制订了自己的“期刊黑名单”“警示期刊”“负面期刊”等。
但作为一个开展学术期刊评价工作近20年的第三方组织,文献中心发布的期刊预警名单颇为引人注目。
预警期刊的初衷与应对学术不端及“论文工厂”有关。在国际出版伦理委员会(COPE)与国际科学技术和医学出版商协会(STM)去年发布的《论文工厂:COPE和STM的研究报告》中,“论文工厂”被定义为将成批生产的论文以科研人员名义投稿给期刊并收取费用,或兜售署名权的过程,其目的在于为他们提供可轻松发表的论文。
被列入高风险预警名单的期刊大多与此有关。比如,在2020年版的预警名单中,《细胞生物化学杂志》(Journal of Cellular Biochemistry)就曾被曝光涉及论文工厂事件。经调查,发表时间横跨2017年到2020年的129篇论文遭到撤稿,论文作者以医生为主,涉及中国国内77家医院和6所高校。(详见本报2021年12月08日报道《这期学术期刊没有论文》)
在最新的2023年版预警名单中,3本高风险期刊也均与论文工厂有关。创立于1946年的德国药物化学期刊《药剂学》(Pharmazie),是连续第二年上榜。有人统计发现在2017至2019之间,该杂志有涉嫌38篇由论文工厂生产的国人论文,占3年总发文量的10%左右。
美国的《公共卫生、环境卫生与职业卫生杂志》(Journal of Environmental and Public Health)则被发现,作为一本公卫专业期刊,竟然接收服装设计行业营销论文,论文中还引用了多篇不相关论文。
创立于1989年的克罗地亚心理学期刊《多瑙河流域精神病学》(Psychiatria Danubina)问题出现在其发表的一系列增刊上。该期刊在2021年发表了来自中国的1179篇会议摘要,2022年已经增长到2068篇,这些会议论文声称来自多个由“中国科学院心理研究所”与其他机构共同举办的心理学会议。不过,中科院心理所发布了相关侵权声明,表明这些会议与他们无关。事后调查发现,这些学术会议网站域名没有备案信息,注册人留的也只有QQ邮箱。诸多信息均指向它们是假的学术会议,也被称作“掠夺性会议”。
浙江工商大学教授、学术评价与科技统计研究院院长俞立平告诉中青报·中青网记者,为了便于绩效管理,以往高等院校、科研院所采取的是“白名单”,即对发表在其奖励目录内的成果给予必要的奖励,但是没列入白名单的期刊并非就在黑名单上。“以前没有预警期刊名单,科研工作人员知道个别杂志可能风评不好,不往这个杂志投稿,但是可能还有一些杂志它风评不好,我们并不知道。”俞立平说,名单制订发布后,广大科研人员有了参照,知道一些杂志还是要少投甚至不投,本身就起到一个导向作用。
“好钢要用在刀刃上”
“究竟要预警什么?”是团队面临的第一个问题。文献中心副研究员沈哲思从2019年开始名单的构建设计,他做的第一项工作就是收集来自科研人员的意见。除了收集在各个学术社区的讨论,他还向一百多名学者发放了问卷。
他得到的反馈有着一定的共性。“比如科研界都会提到的一些有争议的出版商、一些大刊,甚至会有‘几大水刊’这样的提法。有一些期刊大家提到的非常多,因为上面应该有90%甚至接近100%的论文都是中国人发的。”沈哲思举例,“有的学者会指出,某些期刊学术编辑会完全不顾同行评审的意见,同行评审专家认为这篇文章不可接收,结果编辑很快接收了,也有相反的。”
最终,期刊的载文量和增长率、作者国际化程度、引用国际化程度、拒稿率、合理的论文处理费、期刊超越指数、自引率、撤稿信息等,被作为主要的指标进行考量。
这些指标一方面跟学术不端有关,另一方面也兼顾了科研管理部门比较头疼的其他问题。
关于科研管理部门关心的问题,杨立英举例,我国学术出版花了大量的科研经费在论文出版费上面,“其中有一些可能效率不是那么高”,她解释,有一些期刊的论文出版费特别高,同时这本期刊的文章中国人发文占比达到了90%以上,“在这种在这种期刊上发文难以实现中国科研成果走向国际化的目标。”
一些期刊的出版商解释,中国作者占比之所以如此之高,是因为“主编对发展中国家的来稿有着特别的感情。那里急需提高医学和医疗的水平,所以尽量地把发展中国家的这些案例这些东西传播出去”。
在杨立英看来,学术出版作为商业行为无可厚非,国际期刊在传播中国科研成果中发挥的贡献值得肯定,国际学术共同体对中国科研界的帮助需要认可。但从另一个角度看,这样的期刊国际化程度不够,“国家之所以希望科研人员把自己的成果在国际期刊上出版,是希望我们的成果被更多国际同行看到。中国目前的科研水平需要发表高水平的论文,我们经费也有限,需要把钱花在刀刃上。”
另一方面,我国论文出版的数量增长很快,但是质量没有同步提升,团队也希望通过期刊评价的一个视角来抑制论文在“水分太大”的期刊上去发表。有的期刊载文量变化非常大,“今年一年发1000篇文章,下一年就2000篇,再过一年可能3000篇、甚至5000篇,载文量扩张得非常快,这样期刊的影响力很难保持稳定的水平,基本上会有直线下降的趋势。”
为此,预警期刊被分为高、中、低三个等级。其中,高风险预警期刊存在批量论文涉及“论文工厂”等学术不端问题;中风险预警期刊表现期刊作者群和读者群的国际化程度低,以及论文处理费不合理;低风险期刊则有着大体量期刊发文量激增的现象,存在学术影响力骤降的风险。
数据显示,2020年年底首发的预警期刊中,有17本期刊上,来自中国作者占比达到80%以上,其中6本达到90%,最高的为96.98%。2020年SCI收录的中国作者参与的论文总计50多万篇,当年中国作者在65本预警期刊发文的数量就达到了5.5万多篇,有的单篇论文处理费高达2000-3000美元。
特别是一些开放获取(Open Access)期刊,作者一般要交论文处理费。其中还包括一些完全在线出版的期刊,没有版面限制,处理流程非常快。“这种出版模式,从期刊角度来说,论文发得越多,收到的收益就越多。”首批65本预警期刊中,有43本是属于开放获取期刊,40本在2020年发文量超过1000篇。
“它确实加快了科学传播,方便了大家对新知识的获取。”沈哲思说,“但有一些确实发得太多,需要提醒它控制一下质量,在收入和期刊质量上做一个平衡。”
一些以开放获取期刊的出版商,给出的理由是要把科研成果尽快、尽量地发表出去,来促进学术传播,“这可能和我国对科研价值的判断是不一样的,站在不同的立场、不同的价值观上,这些都会有不同的解读。”杨立英说。
一本中风险期刊被预警后,由于其影响因子也有所下降,2021年第一季度文章出版量同比下降了24%,3月份出版量同比下降34%,其中来自中国作者的论文下降了60%。
应对科研诚信问题,科学共同体站在同一战壕
被列入预警名单后,一些期刊行动起来。《细胞生物化学杂志》等因“论文工厂”事件被列入预警名单后,出版商威利以COPE的操作指南为依据,进行全面调查,作出了公开更正、撤稿等处理,以维护读者对科学出版物的信任。同时,两刊还组建了全新的主编和编辑团队。
为了持续应对未来的“论文工厂”挑战,威利更新了稿件审核流程,明确要求作者提交图像和实验背后的原始数据,此外,还成立了专门的图像审查团队。还有一些出版商有针对性地根据预警期刊提出的问题进行了调整,包括载文量的“刹车”。
团队并没有公布每项指标构成预警的阈值,在杨立英看来,一旦公布这个数值,期刊就会追着指标走,那指标就失去了意义,“我们的初衷是只要是用心办刊、遵循相关规范,这些指标是不应该出问题的。”
很多第一年被预警的期刊,第二年没有出现在名单中。杨立英解释,每年制作预警名单的时候完全根据当年的数据和标准,并不是一经进入就不能出来了。2021年、2023年,文献中心又发布了两版预警名单,上榜的期刊越来越少了。“恰恰说明我们预警期刊发挥了它的作用,要把病治好,而不是要不断地给它看病,我不断地卖药。”
文献中心主办的《数据与情报科学学报英文刊》(Journal of Data and Information Science)是一本ESCI期刊,同样面临着论文工厂的渗透问题。作为该刊主编,杨立英曾多次接到来自韩国、美国等国家学者的自荐,申请做期刊的客座编辑,为期刊筹备一本专辑。“他的论文成果列表很长,但主题很杂,加上这个人我都没有听说过,也和同行打听了,都不知道这个圈子里有一个这么高产的作者。”她认为对方很可疑。
近年来,一些期刊涉及的论文工厂事件就与类似的骗局有关。“有些领域的分支学科很大,确实学者之间有相互不认识的,就答应了这个人做客座编辑,这一本专辑可能就都有问题。”
事实上,在应对学术不端和论文工厂上,多数期刊、第三方评价机构、科研管理部门站在同一个战壕里。“学术出版之所以在这个世界上存在几百年,大家还比较信赖它,比如STM的口号就是促进可信的研究,有它存在的一些道理,是通过同行评议机制的设立、科学共同体的互信逐步建立起来的。”学术出版独立顾问颜帅告诉中青报·中青网记者。
与以往纸质出版时代相比,网络和数字化的技术虽然给造假者带来了便利,但也给遏制学术不端提供了工具。近些年,很多问题出现在生物医学领域的图片造假上,各出版商为此研发了图片的检测工具,如今又面临ChatGPT这类大型语言模型的威胁。
“与科研诚信问题的斗争一直在延续。”颜帅说。
搭建学术论文预警平台
“微型和长链非编码RNA领域已成为生命科学领域受到学术不端困扰的研究方向之一。2010年起,长链非编码RNA相关的撤稿论文逐年增加,该领域的撤稿论文中,存在伪造篡改和学术剽窃等学术不端行为的占87%。”1月13日,在文献中心科研诚信研究中心成立大会的学术报告中,杨立英披露了上述信息。
这些数据是基于文献中心2022年推出的学术论文预警平台Amend的分析得到的。Amend平台汇集并整理了期刊官网发布的编辑关注、勘误和撤稿声明等信息,将撤稿论文与“论文工厂”事件、学术社区的同行质疑和科研主管部门的官方通报内容相关联,形成一个检索系统,“类似于撤稿论文的‘天眼查’”。
在平台对撤稿论文进行检索时。结果会将撤稿原因主要分为两大类:学术不端与客观错误。具体则有“图像重用”“伪造图像”“第三方投诉”“数据错误”等二级标签。目前,数据库中的约2.9万余条,“超过三分之二与学术不端有关,剩下的属于科学错误或是编辑等原因。”杨立英透露。
在她的设想中,Amend平台有着许多应用场景。比如,科研人员在做科学研究的时候,如果要引用一篇文章,可以在平台里查一下这篇文章是否已经被撤稿了。对于高校和科研机构,则可以统计学校有多少论文在发表之后被撤稿;在引进人才时,也可以查询他的成果是否被撤稿,或者受到来自同行的质疑。
在俞立平看来,Amend平台作为国内一个全新的数据库,对于科研诚信建设有着重要意义。“透明是学术治理的重要内容,Amend搜集的数据和信息并不一定都有诚信问题,一些勘误和撤稿也是在正常情况下的合理行为,只要透明,是非功过自然会有公论。”他认为,这会促使广大科研人员在科学研究的过程中,更加严谨细致,更加遵循学术精神,“从这个角度,Amend确实具有很好的‘预警’功能。”
在文献中心的设想中,Amend不仅是一个数据库。比如,Amend与图片检测服务提供商FigCheck达成合作意向,基于其相关图片检测技术,即将推出兼顾速度与质量的文内图片查重服务,满足科研工作者和科研管理部门自主检测的需求。
根据Amend数据统计,接近50%的论文工厂论文涉及图片问题,国内多起科研诚信调查事件结果都与“图片误用”有关。杨立英建议,可以通过图片的自查规避类似问题。“比如说课题组长或者导师在论文发表前,可以对团队的论文图像进行把关,也避免一些图片的误用,在发表前将问题解决掉。”
未来,针对争议论文的申诉、追踪和处理环节中的难点和问题,Amend计划推出“循证申诉”“案例时间线”“案例处理红黑榜”3个功能模块,形成举报申诉、追踪进展、结果清单等完整链条的学术预警系统。
评价机制需要改进,但这不是学术不端的理由
事实上,围绕预警期刊和Amend平台,学术界也存在不小的争议。其中一种质疑声音称,一部分颇具争议的期刊没有进入预警名单,从而怀疑名单的公正性。
“涉及评价的问题,争议肯定是不可能避免的。但总有一个标准,是相对客观的。作为第三方评估机构,它的公信力来自公众和科研界的认可。”杨立英对此回应,“我们也相信在以往工作的基础上,坚持我们数据的客观性、方法的科学性、结果的公正性,这个平台和预警期刊名单,认可度还是可见的。”
另一方面,预警名单也被一些机构的科研管理部门与毕业、科研奖励等挂上了钩。
有科研人员留言称,预警期刊的目的虽好,但其所在机构通知预警刊和其他学校黑名单的一律不给报销,不给毕业。“我的学生刚(被)接收了一篇(影响因子)快2分的论文。学生很认真,但就因为这事,现在能不能毕业都成问题。”“我们投的时候已经注意了(期刊)不在文献中心发布的名单里,但科研管理部门把网上有风声的全纳入了,文章接收了才发的通知说不给毕业,现在学生都已经快崩溃了。”
“我们是预警期刊,但不是预警期刊里的每篇论文,初心是希望出版商来进行质量把控,反作用到我们科研界投稿时注意相关问题。”杨立英表示,预警名单旨在提醒科研人员审慎选择成果发表平台,提示出版机构强化期刊质量管理,作为期刊的评价标准,不是论文评价,更不是否定预警期刊发表的每项成果。建议科研管理部门在采用的时候注意具体情况,不搞“一刀切”。
“预警期刊本身是一个好的导向,但每个政策都有滞后期,如果根据新发布的名单就说科研人员的成果不算了,也不公平。”俞立平也建议,对预警期刊发布之前已经发表在上面发表的论文,科研管理部门可以请专家再进行同行评议,如果通过,也可以作为代表作,不影响其使用。
沈哲思描绘了团队对于学术诚信建设的构想:“我们做的期刊分区表是一种‘引’,希望大家要追求论文质量,发高质量的论文,发在高水平的期刊;期刊预警名单是一种‘堵’,有些期刊的发文门槛比较低,将这些期刊预警,提高了门槛,堵掉一些低质量的发表;Amend平台以及和FigCheck的合作则是‘筛’,提前把一些存在问题的论文给筛掉;但我们认为最核心的,其实是‘减’,我们要减轻科研人员的发表压力、降低发文的需求,把量减下来、把质提上去。”
“一个领域的期刊发文量是一定的,包括在校研究人员,毕业生都需要发,狼多肉少,导致一定比例学生毕业必须延期,有时候不得已发这些水刊。”有学者跟帖讲述了“水论文”的“苦衷”。
近年来,破除“唯论文”有关文件频频出台,中共中央、国务院印发的《深化新时代教育评价改革总体方案》,要求扭转不科学的教育评价导向,克服“唯论文、唯帽子、唯职称、唯学历、唯奖项”的顽瘴痼疾,提高教育治理能力和水平,加快推进教育现代化、建设教育强国。
一位不愿具名的专家表示,在科研评价中,指标、数量的要求有一些不合理的地方,但如果没有它们,如何绕过行政、人情等因素的干扰,同时又能兼顾学术评价的效率,也是值得研究的问题。
不过,在文献情报中心教授、学术委员会主任初景利看来,包括机构的排名压力、科研成果评审制度不合理等在内的外部因素,都不是学术不端的理由。“我们面对的环境是一样的,为什么别人没有学术不端的问题?更多的是个体的原因,包括科研能力水平的不足,对学术规范缺乏了解,急功近利,以及法不责众的心理。”
在他看来,要加强科研诚信建设,需要教育、预防、监督和惩戒并重。科技部提出严重学术不端人员的相关荣誉利益全部清退归零,包括学位、职称、人才称号、各种奖励奖金等等,实现了“让监督长牙齿”,更重要的是教育为先、预防为主,让科研人员知敬畏、存戒惧、守底线。
中青报·中青网记者 刘言