构建知识图谱-初学

Posted gongyanzh

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了构建知识图谱-初学相关的知识,希望对你有一定的参考价值。

本文内容源自medium文章

A Knowledge Graph understanding and implementation tutorial for beginners[1]

什么是知识图谱?

知识图谱的内容通常以三元组形式存在,Subject-Predicate-Object (spo)。

举个栗子:

Leonard Nimoy was an actor who played the character Spock in the science-fiction movie Star Trek

对上面的句子可以抽取到如下三元组:

技术图片

以知识图谱形式可以表示为:

技术图片

上述由节点和关系组成的图,就是一个简单的知识图谱。

如何搭建一个简单的知识图谱?

可以分为以下两大步骤:

  • 知识提取
    • 信息抽取,获取三元组
    • 实体识别、实体链接、实体消歧(Disambiguation)、实体统一(Entity Resolution)
  • 图构建
    • 存储
    • 查询

知识提取步骤是构建知识图谱的关键,三元组可以通过依存分析得到。

动手构建一个简单知识图谱

此处只显示代码执行过程与结果,完整代码请见github.

1. 三元组提取

借助spacy

inputText = ‘Startup companies create jobs and innovation. Bill Gates supports entrepreneurship.‘

# Step 1: Knowledge Extraction. Output: SOP triples
knowledgeExtractionObj = KnowledgeExtraction()
sop_list = knowledgeExtractionObj.retrieveKnowledge(inputText)
#list_sop = sop_list.as_doc()
sop_list_strings = []
for sop in sop_list:
    temp = []
    temp.append(sop[0].text)
    temp.append(sop[1].text)
    temp.append(sop[2].text)
    sop_list_strings.append(temp)

print(sop_list_strings)

结果

技术图片

2. 实体链接

# Step 2: Entity recognition and linking. This step needs to be linked.
entityRecognitionLinkingObj = EntityRecognitionLinking()
entityRelJson = entityRecognitionLinkingObj.entityRecogLink(inputText)

entityLinkTriples = []
for sop in sop_list_strings:
    tempTriple = [‘‘, ‘‘, ‘‘]
    for resource in entityRelJson[‘Resources‘]:
        if resource[‘@surfaceForm‘] == sop[0]:
            tempTriple[0] = resource[‘@URI‘]
        if resource[‘@surfaceForm‘] == sop[1]:
            tempTriple[1] = resource[‘@URI‘]
        if resource[‘@surfaceForm‘] == sop[2]:
            tempTriple[2] = resource[‘@URI‘]
    entityLinkTriples.append(tempTriple)
print(entityLinkTriples)

结果

技术图片

3. 图构建

使用neo4j

# Step 3: Knowledge Graph creation.
graphpopulationObj = GraphPopulation()
graphPopulationObj = graphPopulationObj.popGraph(
    sop_list_strings, entityLinkTriples)

技术图片

最终得到图如下:

技术图片

可能遇到的问题

  • Q1
AuthError: The client is unauthorized due to authentication failure.

解决办法:

确保图数据库配置时密码一致与设置的一致 (以下配置表示,user:neo4j,password:neo4j)

config.DATABASE_URL = ‘bolt://neo4j:neo4j@localhost:7687‘#default
  • Q2
ServiceUnavailable: Failed to establish connection to (‘127.0.0.1‘, 7687) (reason [WinError 10061] 由于目标计算机积极拒绝,无法连接。)

解决办法:

确保在执行图创建代码前已经打开neo4j

有问题欢迎留言,一起交流

[1]https://medium.com/analytics-vidhya/a-knowledge-graph-implementation-tutorial-for-beginners-3c53e8802377

[2]https://github.com/kramankishore/Knowledge-Graph-Intro

[3]https://neomodel.readthedocs.io/en/latest/getting_started.html#connecting

[4]https://www.analyticsvidhya.com/blog/2019/10/how-to-build-knowledge-graph-text-using-spacy/

以上是关于构建知识图谱-初学的主要内容,如果未能解决你的问题,请参考以下文章

如何构建知识图谱?

花卉知识图谱KG构建-爬虫数据采集篇

知识图谱基础知识之三——知识图谱的构建过程

知识图谱基础知识之三——知识图谱的构建过程

特定领域知识图谱知识融合方案(实体对齐):文娱知识图谱构建之人物实体对齐

知识图谱构建浅析