编译 ｜ 学术编辑部
近日，一项令人瞩目的研究亮相arXiv预印本平台，发现了一系列人工智能写作时常常采用的流行形容词在同行评议报告中显现踪迹。该发现反映了研究者开始运用ChatGPT及其他人工智能工具作为评判他人研究的新趋势。
对此，德国柏林工程应用技术大学的Debora Weber-Wulff教授表达了深深的忧虑。她指出，由于聊天机器人时常生成误导性或虚假信息，让它们为未完成的研究成果撰写评议报告是“极为令人担忧的”。她强调：“人工智能系统可能产生误导性的‘幻觉’，而我们无法预知其具体发生的时机。”
该项研究由斯坦福大学计算机科学家梁伟欣团队领衔开展，他们开发了一种技术，该技术能够识别并追踪在人工智能作品中更频繁使用的形容词。通过对比分析，研究人员对ChatGPT发布前后提交给同一会议的14.6万余份同行评议报告进行了深入研究。
研究结果显示，自聊天机器人逐渐普及以来，某些积极形容词的使用频率显著上升，如“赞誉有加的”、“创新性的”、“细致入微的”、“复杂深奥的”、“引人注目的”以及“多才多艺的”。该研究还详细列出了使用频率最高的100个形容词。
该研究还对2019年至2023年间被《自然》系列期刊接收并发表的约1万篇论文的2.5万余份同行评议进行了调查。结果发现，尽管ChatGPT等工具的流行，但这些积极形容词的使用频率并未出现明显增长。
施普林格·自然的一位代表表示，出版商已经要求同行评议人员避免将手稿提交至生成式人工智能工具中。他们强调这些工具仍存在“显著的局限性”，并且同行评议过程中可能涉及敏感或专有信息。
施普林格·自然正积极寻求为同行评议人员提供安全的人工智能工具，以协助其进行更为科学准确的评价工作。
Weber-Wulff教授坚信，在同行评议中不应采用ChatGPT等任何形式的工具。她担心，那些未公开发表的评议报告中，可能充斥着更高比例的机器人产出内容。“同行评议工作被人工智能所污染。”她坦言。
想要获取相关研究详情请访问：
/abs/2403.07183