25年来，在网上查找信息意味着输入关键词，然后从一串链接中挑选。这种方式正在改变。搜索引擎在链接上方放上AI生成的摘要，越来越多的人直接向AI助手提问。他们得到的不再是十条蓝色链接，而是一个综合性的回答，附带少量引用，有时一条也没有。
对研究信息检索的人和发布信息的人来说，有两个问题至关重要：这些系统如何决定读什么、信什么、引用什么？这对信息发布方式又意味着什么？
传统搜索如何工作
传统网络搜索分三个阶段：
- 抓取：被称为爬虫的程序沿着链接抓取网页。
- 索引：解析网页，把词语、实体和其他信号存入索引，就像书末的索引。
- 排序：针对每次查询，检索候选网页，并根据数百种信号排序，包括与查询的相关性、质量与可靠性、时效性、可用性，以及指向该网页的链接。
链接是谷歌的立身之本。谢尔盖·布林和拉里·佩奇1998年的论文描述了PageRank算法：把一个链接视为一票，来自重要网页的链接权重更高。在信息计量学中，这与引文分析一脉相承。链接至今仍然重要，但现代排序在很大程度上依赖于机器学习的语义与质量模型。
AI回答如何生成：检索增强生成
单独的语言模型只能依据训练中学到的模式作答。它的知识止于某个截止日期，而且可能说出流畅却错误的内容。Patrick Lewis 等人2020年提出的检索增强生成（RAG）部分解决了这一问题：系统先检索相关文档，再基于这些文档生成回答。
AI搜索产品大致按以下流程工作：
- 理解问题，常常把它改写成多条搜索查询（即“查询扩展”）。
- 检索：从网页索引或专门的文献集中检索候选段落，使用关键词匹配、向量嵌入（语义的数值表示），或两者结合。
- 重排序：按相关性和可靠性对段落重新排序。
- 生成：根据排名靠前的段落生成回答，并引用其中一部分。
在这个流程中，竞争的单位往往是段落而不是整页。一段直接回答某个子问题的清晰文字，即使所在网页整体排名一般，也可能被检索和引用。
什么样的内容会被引用
相关研究和实践观察还处于起步阶段，但已经出现一些较一致的规律：
- 先要能被检索到：AI搜索系统高度依赖传统搜索索引。没有被抓取和索引、或排名很差的内容，很少被引用。
- 清晰胜过花哨：直接陈述事实、给出定义、回答具体问题的段落，更容易被抽取和引用。
- 证据有帮助：Pranjal Aggarwal 等人在2023年提出“生成式引擎优化”（GEO）概念的研究中发现，在内容中加入引文、引语和统计数据，能提高其在生成式回答中的可见度，而堆砌关键词则无效。
- 权威性与一致性：被广泛引用、且说法与其他可靠来源一致的来源，更可能被选中。
- 结构便于机器理解：描述性的标题、表格、列表和结构化数据（schema.org）让内容更易于解析。
对内容发布者的启示
谷歌对其AI功能的建议很简短：除了符合普通搜索的收录条件，没有额外要求。也就是说，发布有用、可靠、以人为本的内容，保证网页可被抓取，并使用与页面可见内容一致的结构化数据。具体而言：
- 完整回答真实问题：覆盖读者接下来可能会问的子问题。
- 答案先行：每一节先给出直接结论，再展开细节。
- 展示证据：引用一手来源，给出日期和数字，并保持更新。
- 明确实体：准确、一致地称呼人物、机构和概念，并用结构化数据加以描述。
- 夯实技术基础：网页加载快、可抓取，站点地图准确，不要误封爬虫。像 llms.txt 这样的提案，即为AI系统提供站点核心内容的纯文本指南，可能有所帮助，但目前采用程度参差不齐。
- 改变衡量方式：除了排名和点击，也要跟踪内容在AI回答中的可见度和被引用情况，因为一次引用不一定带来点击。
更大的图景
AI搜索改变了网络的经济结构。当回答被直接综合出来，点击进入原始来源的用户就会减少，这威胁到为这些回答提供素材的发布者的商业模式。它也让影响力更加集中：少数几个系统决定了哪些来源被当作“答案”呈现。
正因如此，信息科学长期关注的问题比以往任何时候都更重要：相关性、可靠性、来源可追溯、偏差，以及对信息源的评价。用户需要知道答案从何而来，发布者的劳动需要得到承认，社会需要这些系统反映现有的最佳证据，而不是被重复得最多的说法。