自然语言处理之比较两个句子的相似度 余弦相似度

Posted bioamin

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了自然语言处理之比较两个句子的相似度 余弦相似度相关的知识,希望对你有一定的参考价值。

1.句子如下:

s1 = "周杰伦是一个歌手,也是一个叉叉"
s2 = "周杰伦不是一个叉叉,但是是一个歌手"

2.分词:

import jieba
s1_list = [x for x in jieba.cut(s1,cut_all=True) if x != \'\']
s2_list = [x for x in jieba.cut(s2,cut_all=True) if x != \'\']

print (s1_list)
print (s2_list)

2.词频向量化:

import jieba
s1 = "周杰伦是一个歌手,也是一个叉叉"
s2 = "周杰伦不是一个叉叉,但是是一个歌手"

s1_list = [x for x in jieba.cut(s1,cut_all=True) if x != \'\']
s2_list = [x for x in jieba.cut(s2,cut_all=True) if x != \'\']
s1_set = set(s1_list)
s2_set = set (s2_list)
word_dict=dict()
i=0
for word in  s1_set.union(s2_set):
   word_dict [word] = i
   i+=1

#词频向量化函数,输入一个总字典和待向量化列表 def word_to_vec(word_dict,lists): word_count=dict() result=[0]*len(word_dict) for word in lists: if word_count.get(word,-1) == -1: word_count[word]=1 else: word_count[word]+=1 for word,freq in word_count.items(): wid = word_dict[word] result[wid]=freq return result s1_vec=(word_dict,s1_list) s2_vec=(word_dict,s2_list) print (s1_vec) print (s2_vec)

4.计算2个向量的相似度:

import jieba
import math
s1 = "周杰伦是一个歌手,也是一个叉叉"
s2 = "周杰伦不是一个叉叉,但是是一个歌手"

s1_list = [x for x in jieba.cut(s1,cut_all=True) if x != \'\']
s2_list = [x for x in jieba.cut(s2,cut_all=True) if x != \'\']
s1_set = set(s1_list)
s2_set = set (s2_list)
word_dict=dict()
i=0
for word in  s1_set.union(s2_set):
   word_dict [word] = i
   i+=1
#词频向量化函数 def word_to_vec(word_dict,lists): word_count=dict() result=[0]*len(word_dict) for word in lists: if word_count.get(word,-1) == -1: word_count[word]=1 else: word_count[word]+=1 for word,freq in word_count.items(): wid = word_dict[word] result[wid]=freq return result
#计算2个向量的余弦相似度
def cos_dist(a, b): if len(a) != len(b): return None part_up = 0.0 a_sq = 0.0 b_sq = 0.0 for a1, b1 in zip(a,b): part_up += a1*b1 a_sq += a1**2 b_sq += b1**2 part_down = math.sqrt(a_sq*b_sq) if part_down == 0.0: return None else: return part_up / part_down s1_vec = word_to_vec(word_dict,s1_list) s2_vec = word_to_vec(word_dict,s2_list) num=cos_dist(s1_vec,s2_vec) print (num)

 

以上是关于自然语言处理之比较两个句子的相似度 余弦相似度的主要内容,如果未能解决你的问题,请参考以下文章

使用句子级相似度的释义识别

nlp自然语言处理中句子相似度计算

给定单词相似度推断句子相似度

如何计算两个文本内容的相似度?

相似度算法之余弦相似度

20-余弦相似度及其R实现