python 使用NLTK进行名称实体提取的基本示例。

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python 使用NLTK进行名称实体提取的基本示例。相关的知识,希望对你有一定的参考价值。

import nltk

with open('sample.txt', 'r') as f:
    sample = f.read()
     
sentences = nltk.sent_tokenize(sample)
tokenized_sentences = [nltk.word_tokenize(sentence) for sentence in sentences]
tagged_sentences = [nltk.pos_tag(sentence) for sentence in tokenized_sentences]
chunked_sentences = nltk.batch_ne_chunk(tagged_sentences, binary=True)

def extract_entity_names(t):
    entity_names = []
    
    if hasattr(t, 'node') and t.node:
        if t.node == 'NE':
            entity_names.append(' '.join([child[0] for child in t]))
        else:
            for child in t:
                entity_names.extend(extract_entity_names(child))
                
    return entity_names

entity_names = []
for tree in chunked_sentences:
    # Print results per sentence
    # print extract_entity_names(tree)
    
    entity_names.extend(extract_entity_names(tree))

# Print all entity names
#print entity_names

# Print unique entity names
print set(entity_names)

以上是关于python 使用NLTK进行名称实体提取的基本示例。的主要内容,如果未能解决你的问题,请参考以下文章

Python NLTK 命名实体识别取决于首字母的(大写)?

如何使用 NLTK ne_chunk 提取 GPE(位置)?

NLTK的使用

如何用 Python 中的 NLTK 对中文进行分析和处理

用于命名实体识别的 NLTK

整理了25个Python文本处理案例,收藏!