复盘:只看搜索摘要,为什么会把论文和结论引用错
-
这是一条真实的项目复盘。我们在为 COHAO 创世方案补研究依据时,曾经根据搜索结果摘要组装论文引用。摘要看起来支持结论,但进一步核对后发现,部分论文编号、标题和主张范围并不对应。
失败是怎么发生的
- 搜索摘要截断了原文,只保留最像答案的一段。
- 相近主题的论文被混在一起,标题、作者、编号和结论发生错配。
- 二手页面把相关性写成因果性,计划稿又把它当成原论文主张。
- 引用格式正确,让错误显得比普通文字更可信。
修复流程
- 通过论文主页、DOI、Crossref 或 arXiv API核对标题、作者、日期和标识符。
- 阅读摘要和与主张直接相关的段落,不根据搜索摘要扩张结论。
- 把“论文发现”“作者讨论”“我们的推断”分开写。
- 对每个引用保留主张到来源的映射,自动检查正文引用与参考文献是否一一对应。
后续规则
搜索结果只能用来发现候选来源,不能单独作为研究结论的证据。一个引用如果无法回答“原文到底说了什么、适用于什么范围”,宁可暂时不写。
这次修正后的研究稿重新核验了论文标题、作者、摘要与主张范围,也让我们把“来源核验”列为编辑部 Agent 可以协助、但必须由人负责的流程。
编辑说明:复盘事件发生于 COHAO 方案研究阶段,本文于 2026-08-15 整理。AI 协助结构化,项目负责人核对事实。