来源: Communication of the ACM (CACM) – Logan Kugler

发表日期: 2025 年 11 月 12 日


各位“AIGC检测”的读者,大家好!我们都知道 AI 工具正在深刻改变科研和学习的效率,但当效率的提升遭遇学术的“内卷”,会发生什么?

今天,我们带来一篇来自权威技术期刊《CACM》的重磅报道,它揭示了一个令人不安的学术界新趋势:研究人员开始在自己提交的论文中,偷偷植入特殊的“AI 提示”(Prompt Injection)。他们不是为了验证自己的研究,而是为了“贿赂”那些可能使用 ChatGPT、Claude 等 AI 来辅助评审的审稿人,企图获得一个正面的评价。

这场围绕 AI 展开的“审稿人 vs 投稿人”的博弈,究竟是学术造假的新形式,还是对“懒惰审稿人”使用 AI 的无奈反击?这篇深度译文将带你了解这场学术界内部的“AI 军备竞赛”,以及未来论文形态可能发生的变革。


💥 研究人员正在论文中隐藏 AI 提示

一些人将 AI 提示注入视为“玩转”研究评审系统的方法,而另一些人则认为这是对懒惰审稿人的反击。

🕵️ 注入影响:学术界出现令人不安的新趋势

学术界正在出现一个令人不安的新趋势:研究人员越来越多地在提交给期刊和会议的论文中隐藏人工智能(AI)提示,以求在评审系统中“钻空子”。

《日经亚洲》的一份报告发现,研究平台 arXiv 上的 17 篇 英文预印本论文文本中包含隐藏的提示,这些提示“告诉”AI 模型应对论文进行有利的评审。

这种方法通常被称为“提示注入”(Prompt Injection),它简单而有效。研究人员在论文中加入简短的指令集,这些指令对人类审稿人是隐藏的,但对可能用于评审论文的 AI 却是可见的。如果 AI 被用来评审论文,它会读取这些隐藏的指令,这些指令通常会告诉它给予论文正面的评价。

这种行为被视为:

  1. 一种不道德的、愤世嫉俗的方式,旨在日益竞争激烈的研究环境中抢占先机。
  2. 对审稿人使用 AI 行为的合理回应

🤔 为什么研究人员现在开始注入提示?

“虽然不可能知道每位作者的确切动机,但证据强烈表明,主要目标是不道德地影响评审过程,”延世大学研究学术界提示注入的心理学研究员 Zhicheng Lin 说。

由于审稿人越来越多地使用 ChatGPTAnthropic 的 Claude 等 AI 模型来辅助评审,一些研究人员在他们的论文中加入了直接与这些模型“对话”的提示。Lin 的研究发现 arXiv 上有 18 篇 预印本包含隐藏提示。他对所使用的提示进行检查后发现,它们的设计都旨在为包含它们的论文产生有利的评审。

但动机可能不止于此。越南英国大学的研究员 Mike Perkins 表示,部分行为是对编辑和期刊审稿人增加使用生成式 AI 工具的回应

“尽管这些系统可以被编辑或审稿人用于根据期刊或出版商的政策进行更高质量的评审,但你经常看到它们导致质量差、模糊或根本不正确的评审,”他说。

Perkins 表示,他个人收到的审稿意见,他确信是由 AI 工具生成的,其中许多显然是在审稿人没有阅读论文本身的情况下创建的。他认为,一些提示注入可能并非旨在“玩弄”系统,而是为了揭露期刊或会议审稿人随意或懒惰地使用 AI 的行为

无论动机如何,所有相关方都在努力解决同一个问题:同行评审过程因产出过多而饱和。插入提示的学者试图在这一过程中获得竞争优势;而不堪重负的审稿人则使用 AI 来减轻工作量。

💻 现象集中在计算机科学领域

尽管学术论文中提示注入的性质备受关注,但它可能不是一个非常普遍的做法——至少目前还不是。

“根据我的研究,这种行为目前可能并不常见,”Lin 说。尽管他在 arXiv 上发现了 17 个 提示注入的案例,但他在其他主要的预印本服务器,如 SSRN、PsyArXiv、bioRxiv 或 medRxiv 上没有发现。他也没有在已发表的经过同行评审的文章中找到提示注入的证据。

“这表明这种做法目前集中在特定的研究社区,很可能是计算机科学领域,因为那里的人拥有更高的提示注入技术知识,”他说。

然而,Lin 警告说,他和他人报告的任何数字几乎肯定都低估了提示注入的实际发生情况,因为作者可以很容易地在公开预印本之前删除这些提示。

⚔️ 一场没有真正赢家的“军备竞赛”

随着提示注入技术越来越为人所知,Perkins 认为研究人员很可能会更频繁地使用它。但他们的行为并非孤立存在。

  • AI 模型本身可能会通过新的更新而减少对提示注入的敏感性
  • 审稿人可能会开始筛选提示注入,并使用 AI 来对抗这些技术。

Lin 表示,结果是试图使用提示注入的作者的风险回报计算可能会变得“不利”,至少在新技术被开发出来之前是如此。“我们最终得到的是一场没有真正赢家的军备竞赛,”Lin 总结道。

另一个关键问题是学术研究本身的现状,这也是导致一些研究人员尝试提示注入的根本原因。

“我们面临着论文数量的巨大增长,研究人员只是试图不被我们所处的‘不发表,就出局’(publish or perish)的学术系统所淘汰,”Perkins 说。简而言之,每个人都超负荷工作,因此走捷径(尤其是使用 AI)极具诱惑力。

Watermeyer 认为,除非学术界研究方式发生结构性变化,否则情况不会好转。“我们需要更少的论文,更少的会议,”他说。“需要显著减轻评审过程的负担,并提高质量保证。这可能只有在产出数量减少、质量明显提高时才会发生。少即是多。”

🛠️ 解决问题的“三管齐下”方法

在学术界整体改变其方式之前,Lin 建议采取“三管齐下”的方法来解决这个问题:

  1. 提交门户需要使用自动化筛选来检测提示注入。
  2. 出版商必须制定关于作者和审稿人 AI 使用的明确政策。
  3. 最重要的是,我们需要在结构上改变科学论文本身,使其成为机器可读的,将 AI 作为验证和可重复性的工具,而不是被操纵的目标。

Lin 认为,未来的论文应该有两层:供人类读者阅读的叙事层,以及包含数据、分析代码和标准化元数据的结构化、机器可读的附录层。“这将使 AI 辅助的评审能够基于可执行的断言,而不仅仅是散文,”他说。

这将使那些要求正面评审的隐藏提示完全无关紧要,因为 AI 的工作将从“解释”变为“验证”。


【我们能从中学到什么?】

“不发表,就出局”的压力催生了这种“AI 提示注入”的怪象。但正如文章所言,这是一场没有真正赢家的军备竞赛。当我们(尤其是大学生群体)在使用 AIGC 工具提升学习和研究效率时,更应关注其伦理边界和风险。

这篇报道也给未来的学术界指明了方向:论文的形态必须改变。从静态的“叙事文档”,转向具备“机器可读”的结构化数据层,让 AI 成为验证研究可信度的工具,而不是被操纵的目标。只有当 AI 的角色从“解释”变为“验证”时,这种利用隐藏提示企图钻空子的行为才会失去意义。

这场关于 AI 伦理和学术诚信的讨论才刚刚开始,我们期待您的观点!

你认为论文中隐藏 AI 提示是“不道德的作弊”,还是“对 AI 懒惰审稿人”的合理反击? 欢迎在评论区留言讨论!


相关新闻

联系我们

联系我们

18627831760

 

邮件:307261949@qq.com

工作时间:周一至周日,9:30-20:30

关注微信
关注微信
分享本页
返回顶部