从0到1 | 文本挖掘的传统与深度学习算法

Posted 2021-04-16 Python大本营

一、什么是文本挖掘？

 

讨论文本挖掘之前，我们要先说一下数据挖掘的概念，因为文本挖掘是数据挖掘的一个分支。数据挖掘（Data Mining）指从大量的数据中通过算法搜索隐藏在其中信息的过程。而文本挖掘就是从文本数据中获取有价值的信息和知识的过程，最基本的应用就是实现文本的分类和聚类。

 

二、文本挖掘有什么用？它和 NLP 有关系吗？

 

也许有人会疑惑，文本挖掘和 NLP 领域有关系吗？这是必然的！

 

文本挖掘最基本的应用是文本（文档）的分类、聚类与相似度；信息检索与信息抽取，这两个任务相比大家都很熟悉；同时，文本挖掘子啊文本摘要生成、自动问答等任务中也有所应用，而这些任务也是 NLP 的主要任务。

 

可见，文本挖掘虽然和 NLP、知识图谱等属于不同的研究方向，但是在技术应用中，很多借鉴与融合之处。文本挖掘涉及很多自然语言处理的模块，同时它也应用于 NLP 领域中多个任务中，利用自然语言处理技术，自动化处理海量文本数据，提升文字处理效率与挖掘深度。

 

那么，文本挖掘主要的方法有哪些？在工程中又是如何运用这些方法的？

 

三、工程中，文本挖掘怎么做？有哪些方法？

 

或许有些方法大家有所接触，比如：关键词提取的方法，词频统计与 TF-IDF；用于潜在关系、主题的 LDA 主题建模；上面提到的文本分类工作就可以用统计学习和机器学习的算法实现；文本聚类则是一种无监督机器学习方法；到深度学习时代，深度学习方法自然被运用在文本挖掘中。

 

不过，从早期的方法、传统机器学习方法到深度学习方法，这么多方法，我们要怎么梳理清他们彼此之间的逻辑？在实际工程中，又是如何运用这些方法的？传统方法和深度学习方法独立运行时发挥哪些作用？什么情况需要把两种方法结合提升效果？

 

四、文本挖掘怎么学？要掌握哪些必备技能和工具（包）？

 

刚入门或者想学习这方面的小伙伴们来说，要如何学习文本挖掘？

正在在这个领域中学习，以后要从事相关工作时，企业需要哪方面的技能？

 

面对这些问题，我们将一一为大家解答！

 

五、我们为你准备了... ...

 

2019 年已经进入下半年，AI科技大本营特此为大家准备一系列专业、深度的 AI公开课。

 

本期公开课，关于《文本挖掘的技术解读与实践》的内容，我们为大家邀请到了达观数据的高翔老师，带领大家深入工程中的文本挖掘技术，他还将带领团队中专门负责传统机器学习、深度学习的小伙伴们为大家逐一攻破困扰你们的算法！

 

课程信息

 

主题：深入文本挖掘的技术与实践分享

时间：7 月 11 日 20 点

主讲人：高翔，达观数据联合创始人、文本挖掘组总负责人

 

课程大纲

1、文本挖掘的基本概念介绍

2、抽取算法概况

3、深入传统抽取算法：算法解读与应用

4、深入深度学习算法：重要模型解读与应用

5、工程实践案例分享：企业落地如何利用这些算法与技术

 

AI科技大本 2019·下半年 技术公开课正式开启，我们策划了十个技术专题、几十节公开课大礼包，等你来学习，还有学习奖品等你来领~

 

更多课程学习信息，可扫描下方小助手二维码，回复：文本挖掘，加入课程交流群，领取福利~