java学到哪才可以检测两个文本的相似度?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了java学到哪才可以检测两个文本的相似度?相关的知识,希望对你有一定的参考价值。

参考技术A 学到IO流可以比较文本了, 不过用IO比较文本比较麻烦, 而且效率低

如果要效率高的话, 就需要学
linux + thread + progress

这样子可以通过java调用linux命令
linux中有一个comm -12命令来实现比较两个文件的共同数据, 生成一个新文本。 拿到新文本的大小/旧文本的大小, 旧可以粗略计算出相似度, 而且效率极其高
如果文本有上百万行数据的话, 用IO可能要十几个小时才有结果, 但是linux命令只需要1分钟左右就可以出结果

以上是关于java学到哪才可以检测两个文本的相似度?的主要内容,如果未能解决你的问题,请参考以下文章

如何计算两个文本内容的相似度?

java实现 比较两个文本相似度-- java 中文版 simHash 实现 ,

余弦相似度的应用

基于CNN的人脸相似度检测

Spark笔记(1) :余弦相似度计算

如何捕获相似基因(两个相似哈希算法分析)