研究與 AI

負責任地使用 AI 摘要研究論文

文/POMODIARY 團隊 · · 閱讀約 5 分鐘

面對堆積如山的論文時,AI 摘要確實能節省不少時間。但它也可能在不知不覺中,把錯誤帶進你的筆記、你的文獻回顧,最後甚至是你自己發表的著作。這兩種結果的差別,不在於你用了哪個工具,而在於你使用它時養成的習慣。

這篇指南整理了 POMODIARY 團隊自己遵循、也推薦給大家的做法:可能會出什麼錯、如何查證、如何引用、如何下提示詞,以及如何處理機密資料和學術誠信規範。

可能會出什麼錯

大型語言模型會根據輸入,產生在統計上最可能出現的流暢文字。大多數時候,針對你提供的論文所做的摘要大致上是正確的。但出錯的方式很具體,值得一一認識。

捏造或扭曲的細節

最常見的問題,不是摘要完全錯誤,而是大致正確、卻有某個細節出錯:樣本數差了十倍、論文明明報告效果不顯著卻被描述成顯著、資料集的名稱看似合理卻不正確。因為周圍的文字都是對的,這類錯誤很容易被忽略。

虛構的引用文獻

當你要求模型提供相關研究或資料來源時,它可能會產生看起來很真實的參考文獻(作者、年份、期刊、標題),但其實根本不存在;或者文獻確實存在,內容卻和模型說的不一樣。任何你沒有親自打開讀過的文獻,都不要放進你的參考書目。

誇大的結論

論文的措辭會很謹慎地保留餘地:「與……有關」、「在此樣本中」、「顯示可能」。摘要往往會刪掉這些保留,把相關性變成因果關係,把初步結果變成定論。而這些保留用語,往往是論文中在科學上最重要的字眼。

缺少的脈絡

摘要可能會省略研究限制的段落、結果只在某個子群體中成立的事實,或是這篇論文還是尚未經過同儕審查的預印本。缺漏很難察覺,因為你看不到不存在的東西。

只讀了一部分

有些工具會把長篇 PDF 切成好幾段處理,表格、圖表、方程式和附錄可能讀得很差,甚至完全沒讀到。如果關鍵結果在某個表格裡,摘要可能只是在轉述表格周圍的文字。

查證流程

把每一份 AI 摘要都當成一組有待查證的說法,而不是一組事實。實用的流程如下:

  1. **先自己讀摘要(abstract)。**只要兩分鐘,就能給你一個用來對照 AI 摘要的基準。
  2. **要求提供出處位置,而不只是答案。**在提示詞中要求標出每項說法出現在哪個章節、哪一頁或哪個表格,然後親自去看。
  3. **檢查每一個數字。**樣本數、效果量、百分比、p 值和日期,都要在 PDF 中親眼確認後,才能寫進筆記。
  4. **檢查說法的方向和強度。**比較摘要用的動詞和論文用的動詞。「可能減少」是不是變成了「減少」?
  5. **閱讀研究限制的段落。**如果摘要完全沒提到任何限制,光是這一點就說明有東西被漏掉了。
  6. **在筆記中做標記。**區分「已在 PDF 中查證」和「來自 AI 摘要,尚未查證」。筆記中一個簡單的標籤,就能讓你避免盲目相信自己過去偷懶留下的內容。
說法類型未查證的風險查證位置
數字與統計高結果章節、表格
因果性的措辭高討論章節、摘要的用字
研究方法細節中研究方法章節
相關研究與引用文獻高參考文獻清單,再查閱被引用的論文
大致主題與研究動機低引言

正確引用

規則很簡單:引用論文,而不是引用摘要。如果你文章中的某個說法依據的是某篇論文,你就應該讀過那篇論文的相關段落。

  • **引用你讀過的版本。**預印本和正式出版的版本可能有所不同,有時差異還很大。記下你用的是哪一個版本。
  • **從原文引述。**如果要直接引用,請從 PDF 中複製,而不是從 AI 的轉述中複製;並依照你使用的格式規範,標註頁碼。
  • **不要轉手引用二手說法。**如果論文 A 說論文 B 發現了某件事,而你想引用這個發現,請去讀論文 B。
  • **遵守你所屬領域對 AI 揭露的規範。**現在許多期刊、研討會和大學,都已規定是否必須、以及如何揭露 AI 的協助。請查清楚;各單位的規定不盡相同,而且會變動。

有效的提示詞

模糊的提示詞會產生模糊卻自信滿滿的摘要。具體的提示詞,則會產生你可以查證的答案。以下是我們覺得好用的幾種寫法:

  • 「列出這篇論文的主要論點。每一項都請標出支持它的章節或表格。」
  • 「樣本或資料集是什麼?規模多大?如何選取?請引述說明這一點的句子。」
  • 「作者自己提到了哪些研究限制?請直接引述。」
  • 「主要的比較對象或基準是什麼?報告的差異是多少?」
  • 「用更簡單的方式解釋這一段,但不要加入段落中沒有的資訊。」
  • 「摘要中有哪些說法,並沒有直接得到任何圖表或表格的支持?」

要求直接引述特別有效,因為引述的句子只要在 PDF 中快速搜尋一下就能確認。如果找不到那句話,你就抓到了一個幻覺。

應該避免的提示詞:「這篇論文好不好?」以及「摘要一下關於 X 的文獻。」前者會引出一個你無從檢驗依據的意見;後者則容易引出虛構的參考文獻。

隱私與未發表的稿件

不是每份文件都是你可以上傳的。在把 PDF 放進任何 AI 工具之前,先問問這份文件屬於誰,以及他們同意了什麼。

  • **同儕審查:**送審的稿件是機密的。許多出版商和資助機構都限制或禁止把審查稿上傳到 AI 工具。在做任何事之前,請先閱讀審稿人須知。
  • **合作者的草稿:**上傳共同作者未發表的著作之前,請先取得對方明確的同意。
  • **敏感資料:**含有病患、受試者或專有資料的論文或附錄,可能受到倫理審查、合約或法律的規範。
  • **了解工具的資料政策:**確認上傳的檔案是否會被儲存、保存多久,以及是否會被用於訓練模型。如果查不到,就把這個工具當成公開場所看待。

如有疑慮,就只使用已正式發表的版本,或使用你自己的筆記,而不是稿件本身。

學術誠信

用 AI 來理解一篇論文,大致上是被接受的。但用它來產出你當作自己理解成果的作品,則可能不被允許,這取決於你所屬的機構。以下幾個原則在大多數情況下都適用:

  • **分析必須是你自己的。**文獻回顧之所以有價值,是因為它反映了你對哪些研究重要、為什麼重要的判斷。AI 摘要無法提供這種判斷。
  • **必要時要揭露。**遵守課程、機構和出版商對 AI 使用的規定;如果規定不清楚,就主動詢問。
  • **不要把 AI 摘要貼進要繳交的作品中。**除了學術誠信的疑慮之外,這些摘要也會包含上述的各種錯誤。
  • **保留紀錄。**如果你的筆記能區分自己閱讀的內容和 AI 的產出,一旦有人問起,你就能輕鬆說明自己的過程。

AI 摘要真正有幫助的地方

這一切並不代表要避開 AI。善用它,能讓你讀得更廣、更快:

  • **發掘:**快速瀏覽大量新論文,決定哪些值得你花時間。
  • **入門:**在閱讀某個陌生子領域的重要論文之前,先掌握它的術語。
  • **釐清:**拆解一段艱澀的段落,或一個不熟悉的研究方法。
  • **語言輔助:**用你的母語對照閱讀段落。

這正是我們為 ChatPaper.AI 設計的角色。它每天一期、五篇白話摘要,是一個用來發掘論文的入口;而它的工作區和「選取即提問」功能,則能幫你釐清特定的段落。最後一步,也就是到論文本身去查證說法,永遠要由你自己來完成。如果你想要一套有系統的查證方式,請參考我們另一篇關於如何用三遍閱讀法讀研究論文的指南。

簡短檢查清單

在任何來自 AI 摘要的內容寫進你的文章之前:

  • 我已經在原始論文中看過這項說法。
  • 我已經對照 PDF 檢查過每一個數字。
  • 說法的強度符合論文的措辭。
  • 我引用的是自己實際讀過的版本。
  • 我被允許上傳這份文件。
  • 我已經遵守適用於我的 AI 揭露規定。

六項檢查,每篇論文花幾分鐘,AI 就能成為閱讀的輔助,而不是悄悄製造錯誤的來源。

延伸閱讀