AI产品经理的入门必修课（4）常识图谱

AI核心要研究的是如何让打算机去完成以往须要人的智力才能胜任的事情，而人的智能性核心表示在对不同事物的感知能力、推理能力、决策能力；因此要想做出AI产品就离不开对感知的研究，推理机制的研究以及智能决策方向的研究。

对感知智能而言，AI已经做了很多打破，例如机器对听觉、视觉、触觉的感知能力，通过摄像头、麦克风或者其他的传感设备，借助语音识别、图像识别的一些算法模型，能够进行识别和理解。

感知智能的发展能够采集到海量的不同来源及不同存储办法的数据，如果想要用这些数据做出详细场景化的运用，目前市情上常用的办法有两种：

理解知识图谱是什么之前，先理解数据、信息、知识之间的关系。

eg：

「38.5」这是一条数据，不具有任何意义。

「小明丈量体温为38.5度」这是一条信息，并且38.5是一个关键指标。

「正凡人体的温度为36-37度，当体温超过根本体温1度及以上时，即认为发热，而不同的温度范围又可分为低热、高热…」这是一条知识，是通过许多病例、实验总结出的公认精确的。

「小明发热了，由于他体温为38.5度」这个结果是由知识推理而来的。

知识图谱是基于图模型来描述知识以及构建关联关系模型的技能手段，现实天下中常用到的知识，或者我们脑海中记住的知识，常日是一段描述性的话；而知识图谱便是将某段描述知识的话抽象成主体、属性、关系的三元组，并利用图谱的形式呈现出来。

如下图即是一个大略的知识图谱，「张柏芝」、「谢霆锋」、「王菲」是人物主体；「出生年月」、「性别」、「年事」为主体属性；「前妻」、「现任女友」、「情敌」为知识抽象出的关系。

知识推理过程

“前妻”知识：

男女双方在法律上曾经成立过婚姻，后通过协议或诉讼的办法解除了婚姻，终止了夫妻间权利和责任，对男方而言称呼女方为前妻。

推理过程：

张柏芝和谢霆锋之间在法律上曾经成立过婚姻，后解除了婚姻，且张柏芝是女性，因此张柏芝是谢霆锋的前妻。

在知识图谱技能中，「张柏芝」、「谢霆锋」、「王菲」被称为节点，节点可以是实体也可以是抽象出的观点；加粗的黑线称为边，表现实体或观点之间的关系，如「张柏芝」和「谢霆锋」的关系是「前妻」。

图中每一个圆都是一个节点，连接圆的直线都是边，可以看出知识图谱是由节点和边组成；而节点和节点之间的边，可以是属性、也可以是关系，例如「张柏芝」、「谢霆锋」之间的边代表的是关系，「张柏芝」、「性别：女」之间的边代表的是属性。

可以用来做什么？

最早知识图谱的运用是用来提升搜索引擎的能力，早期的搜索，是依赖网页间的超链接、搜索关键词与网页包含关键词的匹配关系进行精确或模糊搜索。

但互联网终极形态是万物的互联，搜索的终极目的也是对万物的直接搜索，因此仅依赖关键词之间的匹配不敷以知足日益丰富的搜索需求。

在传统的搜索模式下，当我们搜索「谢霆锋的前妻是谁？」，检索结果可能是某个网页中包含了「谢霆锋的前妻是张柏芝」这句话，我们才能找到网页，在从网页中的信息中得知谢霆锋的前妻是张柏芝这个结论。

而上图知识图谱的建立，当搜索需求产生时会快速的返回「张柏芝」及个人信息。

知识图谱的构建事理及流程？

知识图谱的构建常日分为两类，一类是开放域的知识图谱、一类是垂直领域的知识图谱；像google、百度搜索等搜索引擎建立的知识图谱属于开放域的，像某个领域，电商、金融、图情、生活娱乐等基于详细领域和场景构建的知识图谱为垂直领域的知识图谱。

两种图谱的场景运用不太一样，但涉及的底层逻辑和构建流程是相似的。

知识图谱的构建涉及了知识表示、知识获取、知识处理和知识利用等多方面。

知识表示：

大略理解便是设计者把得到的知识，针对各种问题的类型和场景，设计成多种表现形式，而利用者可以直策应用这种设计好的表示方法来代表这类知识信息。

例如我作为系统设计者，我定义了“V”为“或”的意思，其它利用者均可用“V”代表“或”。

知识获取：

指人通过设计、程序编码、人机交互使机器获取知识；例如人为建立知识库，让专家系统来获取知识，大部分都是通过人工的办法将人类的知识存储到机器中，这个过程便是知识获取的过程。

知识处理：

包含了知识的加工、逻辑判断、推理、知识输出的过程。

nlp自然措辞处理是知识处理的核心。

知识利用：

将规范的知识构造运用到详细的场景之中，创造代价。

在构建技能上，数据和算法是知识图谱的底层支持，包含了信息表示、信息抽取、信息领悟、信息推理和信息决策等多个阶段。

信息来源：

常日可以通过多个渠道或者来源来获取知识图谱的数据，包含了文本、构造化数据库、多媒体数据、传感器数据、人工众包数据等。

信息表示：

利用打算机措辞来描述人脑或者文本中的知识，来帮助进行下一步推理。

运用到的技能手段，例如文本数据，常日会利用nlp自然措辞处理技能，进行实体识别、实体链接、关系抽取、事宜抽取等从文本中抽取出知识，在利用RDF把三元组作为基本的数据模型。

基本逻辑包含了实体、实体属性、实体之间的关系。

信息抽取：

构造化和文本化的数据是目前紧张利用的数据形式，从构造化数据中抽取信息一样平常利用现有的D2R工具，如D2RServer。

从文本中抽取信息紧张经历实体识别和关系抽取两部分，关系抽取一样平常可以利用基于特色模版的方法（人工打标签），或者机器学习的办法进行抽取。

信息领悟：

常日自己的数据源或者知识库不敷以构建办理实际问题时，会去从第三方的知识库或者网络其他渠道的构造化数据进行领悟；紧张包含了模式层的领悟和数据层的领悟，核心办理的问题是避免实体与关系的冲突，或者相同实体含义但利用的不同的数据标识符，造成了不必要冗余。

知识图谱补全与推理：

此环节核心是依赖于补全算法去实现，一种方法是基于本体推理的补全方法，另一种是基于图构造和关系路径进行补全。

常日推理和补全是一个相互协作的过程，通过推理发现有问题的地方，进行补全。

运用与决策：

语义检索、智能问答、智能决策系统、推举系统。

下面通过详细示例来理解知识图谱的构建流程：

03 运用实例：电商知识图谱的构建

在目前电商的交易场景中，交易规模巨大，不仅涉及了线上、线下交易场景，还有各种新零售、多措辞平台、线上线下相结合的各种繁芜的购物场景，企业对数据的联通需求越来越强烈，因此电商的知识图谱对付行业而言变得很主要。

电商的知识图谱紧张是环绕商品构建的，基于人、货、场的紧张框架进行拆解。

在电商这个领域下进行知识表示时，首先须要确认共涉及多少个一级本体、二级本体，电商知识紧张的获取来源是知识众包，核心涉及了本体的设计，环绕商品本身的属性、消费者的需求、平台运营管理的机制。

在不同平台和渠道的数据采集工具不一样，采集上来的数据的存储形式也会略有差异；例如电商的卖点、详情、图片、评价，舆情信息中的品牌和口碑，涉及了大量的文本数据、图像数据。

在进行知识表示时涉及了各种NLP、CNN技能；哀求知识命名识别系统具有大规模实体类型识别的能力，并且把识别出的主体与知识图谱进行链接。

以阿里电商认知图谱的示例紧张包括：

商品域：型号、尺码、大小、颜色、口感、材质..

用户域：

性别、年事、风格、品牌、购买力…

LBS域：购物场景、群体、泛品类……

然后须要对实体进行描述，除了根本的属性及属性值以外，须要通过实体标签进行实现，大部分实体标签变革比较快，常日是通过知识推理获取的；例如商品的标签中，可以通过材料的配比或者国家行业标准进行处理。

例如：

通过知识推理，可以根据商品配料表中的数据转化为「无糖」、「低糖」的知识点，从而将数据转化为知识标签；大部分信息在提取之后会比较零散，须要将已建立好关系的知识库中或者第三方的知识库来源的信息做领悟，以及实体对齐、实体消歧义的技能操作。

实体对齐：

例如迪奥是一个品牌名，DIOR为同一个品牌的英文名，虽然是同一个品牌由于文本不一样，会被打算机识别为两个实体，因此我们须要将类似的内容对齐和统一化。

实体消歧：

例如苹果是一种水果，在某些高下文中它可能表达苹果手机，这时须要根据高下文进行实体消歧。

完成上述操作后，才会进行实体的抽取，实体抽取的过程中会利用算法进行实体间的相似性打算，紧张依赖于本体库中建立的本体之间的关系，进行推理和补齐；例如不同人买了同一件商品，或买了相似商品，该以若何的节点进行知识图谱的关联；可以采取自动化抽取或者人工抽取的办法进行实现，自动化抽取可以大批量任务，以及在多源异构的数据处理中具有极大上风。

但对付繁芜场景的抽取和识别依旧须要人工的参与。

在初步的知识图谱构建成功之后，须要进行知识库的质量评估，当部分关系无法通过知识库进行抽取时，须要进行知识推理算法及知识图谱补全算法进行关系链路的优化；目前市情上已有部分技能上的办理方案，感兴趣童鞋可以查阅更多资料进行扩展。

#专栏作家#

大鹏，"大众年夜众号：一个数据人的自留地。
大家都是产品经理专栏作家，《数据产品经理修炼手册》作者。

本文原创发布于大家都是产品经理。
未经容许，禁止转载

题图来自Unsplash，基于CC0协议。