了解自然语言处理

Posted 2022-11-11 bcbobo21cn

自然语言处理

    自然语言处理，Natural Language Processing，NLP。
    是计算机科学领域与人工智能领域中的一个重要方向。
    它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
    自然语言处理是一门融语言学、计算机科学、数学于一体的科学。

    自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面。

概念和技术

信息抽取（IE）
    信息抽取是将嵌入在文本中的非结构化信息提取并转换为结构化数据的过程，从自然语言构成的语料中提取出命名实体之间的关系，

自动文摘
    自动文摘是利用计算机按照某一规则自动地对文本信息进行提取、集合成简短摘要的一种信息压缩技术；

语音识别技术
    语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的技术，也就是让机器听懂人类的语音；

基于传统机器学习的自然语言处理技术
    自然语言处理可将处理任务进行分类，形成多个子任务，传统的机械学习方法可利用SVM（支持向量机模型）、Markov（马尔科夫模型）、CRF（条件随机场模型）等方法对自然语言中多个子任务进行处理，进一步提高处理结果的精度。

基于深度学习的自然语言处理技术
    深度学习是机器学习的一大分支，在自然语言处理中需应用深度学习模型，如卷积神经网络、循环神经网络等，通过对生成的词向量进行学习，以完成自然语言分类、理解的过程。

工具和平台
    NLTK ：全面的python基础NLP库；
    StanfordNLP ：学界常用的NLP算法库；
    中文NLP工具：THULAC 、哈工大LTP 、jieba分词；

NLTK能干啥？
    搜索文本
        单词搜索，
        相似词搜索，
        相似关键词识别，
        词汇分布图，
        生成文本，
    计数词汇
    。。。。。。