知识图谱以网络的形式表示知识。节点是实体,如人物、机构、地点、产品和概念;边是实体之间带类型的关系,如“任职于”“位于”“引用”“属于”。由于关系是显式且机器可读的,计算机就能在其上回答问题、发现关联和进行推理,这些在文档或普通表格中都难以做到。
“知识图谱”一词因谷歌在2012年宣布搜索将理解“事物,而不是字符串”而流行开来,但其思想源远流长,来自数十年的知识管理、语义网络和语义网研究。在中国情报学界,知识图谱既是一种研究对象(知识组织),也是一种研究工具(如用CiteSpace绘制“科学知识图谱”)。注意,这两种“知识图谱”含义并不相同。
从知识管理到知识图谱
知识管理研究组织如何创造、共享和使用知识。经典框架是野中郁次郎与竹内弘高提出的SECI模型。它描述知识在隐性形态(人脑中的技能和经验)与显性形态(文档、规程、数据库)之间转化的四个过程:社会化、外化、组合化和内化。
早期的知识管理项目常常失败,因为它们把重点放在无人维护的文档库上。知识图谱解决的是问题的一部分,即显性知识的组合化:把来自多个来源的事实链接成一个统一结构。它解决不了人的问题,人们仍然需要分享知识的动机和时间。
基本构件
- 实体,拥有唯一标识符,使作为公司的“苹果”和作为水果的“苹果”成为不同的节点。
- 关系,具有明确的类型和方向。
- 属性,如日期、金额,以及多语种名称。
- 本体或模式,定义实体的类型及其之间允许的关系。Schema.org 是一种轻量级的例子,网站用它向搜索引擎描述内容;医学、法律和金融等领域的本体则丰富得多。
- 来源信息,即每条事实来自哪里、何时获取。没有它,图谱就无法被信任和维护。
两种技术路线占主导地位。RDF(W3C标准)把一切表示为带网络标识符的“主语—谓语—宾语”三元组,用SPARQL查询。属性图(Neo4j 等图数据库采用)可以在节点和边上都附加属性,在工业界很流行。维基百科背后的开放知识库 Wikidata 是最大的公共知识图谱,拥有超过一亿个条目,任何人都可以编辑。
如何构建知识图谱
- 从问题出发:图谱要回答什么问题?“我们的哪些供应商与受制裁企业有共同股东?”这样的问题决定了需要哪些实体和关系。
- 设计最小可用的模式:尽可能复用现有词表(schema.org、Wikidata属性、领域标准)。
- 抽取实体与关系:来源既包括结构化数据(数据库、登记信息),也包括非结构化文本(文档、新闻)。命名实体识别和关系抽取完成了大部分工作,如今常借助大语言模型实现。
- 实体消歧与对齐:判断两条记录何时指向同一事物,例如名称变体、音译或子公司。这通常是最难的一步,也是对质量影响最大的一步。
- 记录来源与置信度:每条事实都要有。
- 校验与维护:使用约束规则(如一个人的出生日期不能晚于死亡日期),对样本进行人工审核,并制定持续更新的计划。
知识图谱的用途
- 搜索与推荐:搜索引擎、电商和内容平台用图谱理解查询、关联相关内容。
- 情报与调查:关联人员、企业、地址和交易,揭示隐藏的股权关系、欺诈网络或制裁规避。
- 科研:关联概念、基因、药物和疾病,或关联论文、作者、资助机构与专利。
- 数字人文与文化遗产:关联历史人物、地点、事件和史料,包括海洋、法律和档案证据,例如构建南海维权证据链这类多模态知识图谱。
- 企业知识:关联产品、客户、文档和专家,帮助员工找到“谁知道什么”。
知识图谱与大语言模型
大语言模型刚出现时,似乎让知识图谱变得多余:既然模型能用自然语言回答问题,何必费力构建结构化图谱?实践表明,两者是互补的:
- 大模型帮助构建图谱:它们从文本中抽取实体和关系的成本远低于以往方法,但输出需要校验。
- 图谱为大模型提供依据:模型可能编造事实。先从经过整理的图谱中检索事实,再让模型据此作答,能提高准确性并使答案可追溯。微软的 GraphRAG 等方法用从文档集中构建的图谱来回答宏观性问题,而简单的文档检索往往难以胜任这类问题。
- 图谱让内容对机器可读:用结构化数据(schema.org)描述实体的网站,更容易被搜索引擎和AI助手理解和引用。
知识图谱提供显式结构、来源和一致性,语言模型提供灵活性和自然语言能力。把两者结合起来的组织,能获得既流畅又可问责的系统。