人工智能是否应该在评估研究质量方面发挥作用?

通过使用人工智能(AI)来减轻同行审稿人工作量的努力正在加快步伐——一个国家的主要研究评估机构正在积极寻找利用该技术的方法。

由英国主要的公共研究资助机构委托进行的一项研究正在研究算法如何帮助对提交给英国研究卓越框架(REF)的期刊文章进行同行评审。

研究人员使用人工智能分析同行评审

REF是一个全国性的质量审计机构，旨在衡量在英国高等教育机构进行的研究的影响。在最新的迭代,研究结果于2022年5月发表，来自157个英国机构的7.6万多名学者的18.5万多份研究成果进行了评估。结果将决定每年大约20亿英镑(22亿美元)的资金如何分配给英国各机构。

下一届REF预计将在2027年或2028年举行，这项新研究将测试人工智能是否能让参与评判研究成果的数百名裁判员减少这个过程的负担。

英国伍尔弗汉普顿大学(University of Wolverhampton)的数据科学家迈克·西尔沃尔(Mike Thelwall)将执行REF项目的资助者将来自15万篇科学论文的同行评议数据交给了他。这些论文已经作为最新参考文献的一部分进行了评估。这些数据列出了个别期刊文章的评分，通常会被销毁。但是资助者——英格兰研究中心、苏格兰资助委员会、威尔士高等教育资助委员会和北爱尔兰经济部——首先给了Thelwall和他的同事们机会。

比分是多少?

Thelwall在数据上运行了各种人工智能程序，看看算法能否得出与REF同行审稿人给期刊文章的评级相似的分数。人工智能程序的计算基于文献计量数据和元数据，包括摘要、标题和文章文本中的关键词。

西尔沃尔说:“我们正在研究人工智能(程序)是否能够提供同行审查员认为有帮助的信息。”例如，他补充说，人工智能或许可以提出一个分数，供裁判员在评估论文时考虑。西尔沃尔指出，另一种可能性是，如果裁判对一篇文章存在强烈分歧，人工智能将被用作决胜局——类似于REF专家组已经使用引用数据的方式。

伊利诺斯州芝加哥大学研究人工智能技术在科学中的应用的Eamon Duede说，人工智能应该在REF过程中发挥作用似乎“非常明显和合理”。“只是还不完全清楚这个角色是什么。”但斯威德不同意人工智能应该被用来给手稿打分。“我认为这是一个错误。”

“造纸厂报警”软件会标记出可能的假论文

德国慕尼黑的健康顾问安娜•塞维林(Anna Severin)曾使用人工智能分析同行评议过程本身，她进一步表示:“我不认为人工智能应该取代同行评议”，或者取代部分同行评议。在管理咨询公司Capgemini invention工作的塞维林担心，人们可能会过度依赖算法并滥用人工智能工具。“所有的管理任务以及围绕和支持实际同行评审过程的流程——这是人工智能和机器学习可以帮助减少工作量的领域。”

人工智能的一个可能应用是找到合适的同行审稿人——这通常是一项艰巨的任务，充满了偏见和利益冲突。最近的分析表明，越来越多的研究人员拒绝同行评审的请求。对于那些不断受到此类要求轰炸的少数人来说，情况尤其如此。

西尔沃尔表示，尽管理论上可以使用人工智能来寻找裁判，但这并不在他目前项目的范围内。他指出:“一些小组成员，尤其是主席，花了大量时间分配小组成员的产出。”

人工智能以前曾被用于简化同行评审，并使其更强大。例如，一些期刊已经实现了状态检查开源工具它是由荷兰的研究人员开发的，在他们的同行评审过程中搜罗论文并标记统计错误。一些出版商也在使用软件抓住篡改数据的科学家．

强烈反对

算法也被用来测量科学论文的严谨和同行评审报告的彻底性．但一些努力，如利用AI模型预测论文未来的影响这在一定程度上是由于该技术工作原理缺乏透明度。

Thelwall同意，人工智能系统的内部工作方式通常不透明，容易通过操纵被滥用，但他认为，传统的同行评审已经不透明了。“我们都知道，审稿人对期刊的判断往往分歧很大。”

Thelwall的结果将于11月公布。英国资助者计划在2023年初根据研究结果决定如何进行未来的REF演习。

英格兰研究院的研究环境副主任Catriona Firth说，无论结果如何，重要的是，人工智能的使用不能简单地给REF过程增加更多负担。“即使我们能做到这一点，即使它是稳健的，当你训练算法时，它真的能节省那么多时间吗?”她补充道:“我们不想把事情弄得比原本需要的更复杂。”