科研与 AI

负责任地使用 AI 总结研究论文

POMODIARY 团队 · · 阅读约 5 分钟

面对一大摞论文时,AI 摘要确实能节省不少时间。但它也可能悄无声息地把错误带进你的笔记、你的文献综述,最终带进你自己发表的成果里。这两种结果之间的差别,不在于你用的是哪款工具,而在于你使用它时的习惯。

本文整理了 POMODIARY 团队自己遵循、也推荐给大家的做法:可能会出什么问题、如何核实、如何引用、如何写提示词,以及如何处理保密材料和学术诚信规范。

可能出现的问题

大语言模型生成的是流畅的文本,是在给定输入下统计上最可能出现的文字。大多数时候,它对你提供的论文所做的摘要大体准确。但失误往往有特定的类型,值得逐一认清。

捏造或歪曲的细节

最常见的问题,并不是摘要完全错误,而是大部分正确、却夹着一个错误的细节:样本量差了一个数量级;论文明明报告某个效应不显著,摘要却说它显著;数据集的名字看似合理,实则不对。由于周围的文字都是正确的,这类错误很容易被忽略。

虚构的引文

当你让模型提供相关研究或参考来源时,它可能会给出看起来很真实(作者、年份、期刊、标题一应俱全)却根本不存在的文献,或者文献确实存在,但内容并不是模型所说的那样。凡是你没有亲自打开看过的文献,绝不要加进参考文献列表。

夸大的结论

论文的措辞往往非常审慎:“与……相关”“在本样本中”“提示”。摘要却倾向于去掉这些限定,把相关性变成因果关系,把初步结果变成确定的发现。而这些限定词,往往是论文中在科学上最重要的字眼。

缺失的背景

摘要可能会遗漏局限性部分,遗漏结果只在某个亚组中成立这一事实,或者遗漏这篇论文是尚未经过同行评审的预印本。“缺失”很难被察觉,因为你看不到不存在的东西。

只读了一部分

有些工具会把长篇 PDF 分块处理,表格、图、公式和附录可能读得很差,甚至完全没读。如果关键结果在一张表格里,摘要转述的可能只是表格周围的文字。

一套核实流程

把每一份 AI 摘要都当作一组有待核实的论断,而不是一组事实。一套实用的流程如下:

  1. 先自己读摘要(abstract)。 只需两分钟,却能给你一个用来对照 AI 摘要的基准。
  2. 不只要答案,还要出处。 在提示词中要求它给出每条论断所在的章节、页码或表格,然后亲自去查看。
  3. 核对每一个数字。 样本量、效应量、百分比、p 值和日期,只有在你亲眼在 PDF 里看到之后,才能写进笔记。
  4. 核对论断的方向和强度。 把摘要中的动词和论文中的动词对照一下。“可能降低”是不是变成了“降低”?
  5. 读一读局限性那一段。 如果摘要完全没提到任何局限性,这本身就说明有内容被漏掉了。
  6. 在笔记中做标记。 区分“已在 PDF 中核实”和“来自 AI 摘要,未核实”。笔记里一个简单的标签,就能避免你轻信自己过去图省事留下的内容。
论断类型不核实的风险在哪里核实
数字和统计数据高结果部分、表格
因果性表述高讨论部分、摘要措辞
方法细节中方法部分
相关研究和引文高参考文献列表,再查阅被引论文
总体主题和研究动机低引言

正确引用

规则很简单:引用论文,永远不要引用摘要。如果你文章中的某个论断依赖于某篇论文,你就应该读过那篇论文的相关部分。

  • 引用你读过的那个版本。 预印本和正式发表的版本可能有所不同,有时差别还很大。记下你用的是哪一个。
  • 从原文中引用。 如果要直接引用,请从 PDF 中复制,而不是从 AI 的转述中复制;如果你所遵循的格式规范有要求,还要注明页码。
  • 不要“转手洗白”二手论断。 如果论文 A 说论文 B 发现了某件事,而你想使用这一发现,就去读论文 B。
  • 遵守你所在领域关于 AI 使用披露的规定。 如今许多期刊、会议和高校都对是否需要、以及如何披露 AI 辅助作出了规定。务必查看清楚,这些规定各不相同,而且会不断变化。

好用的提示词

含糊的提示词,只会换来含糊却自信满满的摘要。具体的提示词,才能换来可以核实的回答。以下是我们觉得好用的几种写法:

  • “列出这篇论文的主要论断。对每一条,给出支持它的章节或表格。”
  • “样本或数据集是什么,规模有多大,是如何选取的?引用原文中说明这一点的句子。”
  • “作者自己陈述了哪些局限性?请引用原文。”
  • “主要的比较对象或基线是什么,报告的差异是多少?”
  • “用更简单的语言解释这一段,不要添加段落中没有的信息。”
  • “摘要中的哪些论断没有直接得到图或表的支持?”

要求它给出原文引用尤其有效,因为引文可以在 PDF 中快速搜索验证。如果找不到被引用的那句话,你就发现了一处幻觉。

应当避免的提示词:“这篇论文好不好?”和“总结一下关于 X 的文献。”前者是在诱导它给出一个你无从查证依据的观点;后者则是在诱导它虚构参考文献。

隐私与未发表的稿件

并不是每份文档你都有权上传。在把任何 PDF 放进 AI 工具之前,先问问自己:它属于谁,对方同意了什么。

  • 同行评审: 送审的稿件是保密的。许多出版方和资助机构都限制甚至禁止把它们上传到 AI 工具。动手之前,先读一读审稿人须知。
  • 合作者的草稿: 上传合著者未发表的成果之前,要先获得对方的明确同意。
  • 敏感数据: 包含患者、受试者或专有数据的论文或附录,可能受到伦理审批、合同或法律的约束。
  • 了解工具的数据政策: 查看上传的内容是否会被存储、存储多久,以及是否会被用于训练模型。如果查不到,就把这个工具当作公开场合来对待。

拿不准的时候,只使用已发表的版本,或者使用你自己的笔记,而不是稿件本身。

学术诚信

用 AI 来帮助理解论文,这一点被广泛接受。但用它生成内容,再当作你自己的理解提交出去,可能就不被允许了,具体取决于你所在的机构。以下几条原则在大多数场合都适用:

  • 你的分析必须出自你自己。 文献综述之所以有价值,是因为它体现了你对哪些研究重要、为什么重要的判断。AI 摘要无法替你做出这种判断。
  • 按要求进行披露。 遵守课程、机构和出版方关于 AI 使用的规定;规定不明确时,就去问。
  • 不要把 AI 摘要直接粘贴进提交的作品。 除了诚信问题之外,它们还会包含上文提到的那些错误。
  • 保留过程记录。 把你自己的阅读和 AI 的输出区分开来的笔记,能让你在被问到时轻松展示自己的工作过程。

AI 摘要真正有用的地方

这一切并不意味着要避开 AI。用得好,它能让你读得更广、更快:

  • 发现: 快速浏览大量新论文,决定哪些值得花时间细读。
  • 入门: 在阅读某个陌生子领域的核心论文之前,先熟悉它的术语。
  • 解惑: 拆解一段艰深的文字或一种陌生的方法。
  • 语言辅助: 用母语对照阅读原文段落。

这正是我们设计 ChatPaper.AI 时为它设定的角色。它每天推送五篇通俗易懂的论文摘要,作为发现新论文的入口;它的工作区和“选中即问”功能,则能帮你弄懂某一段具体的内容。而最后一步——到论文本身去核实论断——永远需要你自己完成。如果你想要一套有条理的核实方法,可以参阅我们另一篇关于用“三遍阅读法”读研究论文的指南。

简短清单

在 AI 摘要中的任何内容进入你的文章之前,确认:

  • 我已经在原始论文中看到了这一论断。
  • 我已经对照 PDF 核对了每一个数字。
  • 论断的强度与论文的措辞一致。
  • 我引用的是我实际读过的版本。
  • 我有权上传这份文档。
  • 我已经遵守了适用于我的 AI 使用披露规定。

六项检查,每篇论文只需几分钟,AI 就能成为你的阅读助手,而不是悄悄制造错误的源头。

继续阅读