科研与 AI
负责任地使用 AI 总结研究论文
POMODIARY 团队 · · 阅读约 5 分钟
面对一大摞论文时,AI 摘要确实能节省不少时间。但它也可能悄无声息地把错误带进你的笔记、你的文献综述,最终带进你自己发表的成果里。这两种结果之间的差别,不在于你用的是哪款工具,而在于你使用它时的习惯。
本文整理了 POMODIARY 团队自己遵循、也推荐给大家的做法:可能会出什么问题、如何核实、如何引用、如何写提示词,以及如何处理保密材料和学术诚信规范。
可能出现的问题
大语言模型生成的是流畅的文本,是在给定输入下统计上最可能出现的文字。大多数时候,它对你提供的论文所做的摘要大体准确。但失误往往有特定的类型,值得逐一认清。
捏造或歪曲的细节
最常见的问题,并不是摘要完全错误,而是大部分正确、却夹着一个错误的细节:样本量差了一个数量级;论文明明报告某个效应不显著,摘要却说它显著;数据集的名字看似合理,实则不对。由于周围的文字都是正确的,这类错误很容易被忽略。
虚构的引文
当你让模型提供相关研究或参考来源时,它可能会给出看起来很真实(作者、年份、期刊、标题一应俱全)却根本不存在的文献,或者文献确实存在,但内容并不是模型所说的那样。凡是你没有亲自打开看过的文献,绝不要加进参考文献列表。
夸大的结论
论文的措辞往往非常审慎:“与……相关”“在本样本中”“提示”。摘要却倾向于去掉这些限定,把相关性变成因果关系,把初步结果变成确定的发现。而这些限定词,往往是论文中在科学上最重要的字眼。
缺失的背景
摘要可能会遗漏局限性部分,遗漏结果只在某个亚组中成立这一事实,或者遗漏这篇论文是尚未经过同行评审的预印本。“缺失”很难被察觉,因为你看不到不存在的东西。
只读了一部分
有些工具会把长篇 PDF 分块处理,表格、图、公式和附录可能读得很差,甚至完全没读。如果关键结果在一张表格里,摘要转述的可能只是表格周围的文字。
一套核实流程
把每一份 AI 摘要都当作一组有待核实的论断,而不是一组事实。一套实用的流程如下:
- 先自己读摘要(abstract)。 只需两分钟,却能给你一个用来对照 AI 摘要的基准。
- 不只要答案,还要出处。 在提示词中要求它给出每条论断所在的章节、页码或表格,然后亲自去查看。
- 核对每一个数字。 样本量、效应量、百分比、p 值和日期,只有在你亲眼在 PDF 里看到之后,才能写进笔记。
- 核对论断的方向和强度。 把摘要中的动词和论文中的动词对照一下。“可能降低”是不是变成了“降低”?
- 读一读局限性那一段。 如果摘要完全没提到任何局限性,这本身就说明有内容被漏掉了。
- 在笔记中做标记。 区分“已在 PDF 中核实”和“来自 AI 摘要,未核实”。笔记里一个简单的标签,就能避免你轻信自己过去图省事留下的内容。
| 论断类型 | 不核实的风险 | 在哪里核实 |
|---|---|---|
| 数字和统计数据 | 高 | 结果部分、表格 |
| 因果性表述 | 高 | 讨论部分、摘要措辞 |
| 方法细节 | 中 | 方法部分 |
| 相关研究和引文 | 高 | 参考文献列表,再查阅被引论文 |
| 总体主题和研究动机 | 低 | 引言 |
正确引用
规则很简单:引用论文,永远不要引用摘要。如果你文章中的某个论断依赖于某篇论文,你就应该读过那篇论文的相关部分。
- 引用你读过的那个版本。 预印本和正式发表的版本可能有所不同,有时差别还很大。记下你用的是哪一个。
- 从原文中引用。 如果要直接引用,请从 PDF 中复制,而不是从 AI 的转述中复制;如果你所遵循的格式规范有要求,还要注明页码。
- 不要“转手洗白”二手论断。 如果论文 A 说论文 B 发现了某件事,而你想使用这一发现,就去读论文 B。
- 遵守你所在领域关于 AI 使用披露的规定。 如今许多期刊、会议和高校都对是否需要、以及如何披露 AI 辅助作出了规定。务必查看清楚,这些规定各不相同,而且会不断变化。
好用的提示词
含糊的提示词,只会换来含糊却自信满满的摘要。具体的提示词,才能换来可以核实的回答。以下是我们觉得好用的几种写法:
- “列出这篇论文的主要论断。对每一条,给出支持它的章节或表格。”
- “样本或数据集是什么,规模有多大,是如何选取的?引用原文中说明这一点的句子。”
- “作者自己陈述了哪些局限性?请引用原文。”
- “主要的比较对象或基线是什么,报告的差异是多少?”
- “用更简单的语言解释这一段,不要添加段落中没有的信息。”
- “摘要中的哪些论断没有直接得到图或表的支持?”
要求它给出原文引用尤其有效,因为引文可以在 PDF 中快速搜索验证。如果找不到被引用的那句话,你就发现了一处幻觉。
应当避免的提示词:“这篇论文好不好?”和“总结一下关于 X 的文献。”前者是在诱导它给出一个你无从查证依据的观点;后者则是在诱导它虚构参考文献。
隐私与未发表的稿件
并不是每份文档你都有权上传。在把任何 PDF 放进 AI 工具之前,先问问自己:它属于谁,对方同意了什么。
- 同行评审: 送审的稿件是保密的。许多出版方和资助机构都限制甚至禁止把它们上传到 AI 工具。动手之前,先读一读审稿人须知。
- 合作者的草稿: 上传合著者未发表的成果之前,要先获得对方的明确同意。
- 敏感数据: 包含患者、受试者或专有数据的论文或附录,可能受到伦理审批、合同或法律的约束。
- 了解工具的数据政策: 查看上传的内容是否会被存储、存储多久,以及是否会被用于训练模型。如果查不到,就把这个工具当作公开场合来对待。
拿不准的时候,只使用已发表的版本,或者使用你自己的笔记,而不是稿件本身。
学术诚信
用 AI 来帮助理解论文,这一点被广泛接受。但用它生成内容,再当作你自己的理解提交出去,可能就不被允许了,具体取决于你所在的机构。以下几条原则在大多数场合都适用:
- 你的分析必须出自你自己。 文献综述之所以有价值,是因为它体现了你对哪些研究重要、为什么重要的判断。AI 摘要无法替你做出这种判断。
- 按要求进行披露。 遵守课程、机构和出版方关于 AI 使用的规定;规定不明确时,就去问。
- 不要把 AI 摘要直接粘贴进提交的作品。 除了诚信问题之外,它们还会包含上文提到的那些错误。
- 保留过程记录。 把你自己的阅读和 AI 的输出区分开来的笔记,能让你在被问到时轻松展示自己的工作过程。
AI 摘要真正有用的地方
这一切并不意味着要避开 AI。用得好,它能让你读得更广、更快:
- 发现: 快速浏览大量新论文,决定哪些值得花时间细读。
- 入门: 在阅读某个陌生子领域的核心论文之前,先熟悉它的术语。
- 解惑: 拆解一段艰深的文字或一种陌生的方法。
- 语言辅助: 用母语对照阅读原文段落。
这正是我们设计 ChatPaper.AI 时为它设定的角色。它每天推送五篇通俗易懂的论文摘要,作为发现新论文的入口;它的工作区和“选中即问”功能,则能帮你弄懂某一段具体的内容。而最后一步——到论文本身去核实论断——永远需要你自己完成。如果你想要一套有条理的核实方法,可以参阅我们另一篇关于用“三遍阅读法”读研究论文的指南。
简短清单
在 AI 摘要中的任何内容进入你的文章之前,确认:
- 我已经在原始论文中看到了这一论断。
- 我已经对照 PDF 核对了每一个数字。
- 论断的强度与论文的措辞一致。
- 我引用的是我实际读过的版本。
- 我有权上传这份文档。
- 我已经遵守了适用于我的 AI 使用披露规定。
六项检查,每篇论文只需几分钟,AI 就能成为你的阅读助手,而不是悄悄制造错误的源头。
继续阅读
- 如何阅读科研论文:三遍阅读法详解
用三遍阅读法读科研论文的实用指南:摘要、图表和方法部分分别该看什么,并附一份可反复使用的笔记模板。
