2021 泰迪杯 C 思路

Posted 2021-06-26 zhuo木鸟

希望大家能获得好成绩。

第一题

首先分词，分词本质上是一个序列标注问题，建议使用条件随机场。条件随机场可以用网络上开源的 SigHan05 的 MSR 分词语料库来训练。分词过后，当然还要删除停用词。删除停用词可以用双向匹配，即基于规则的词典匹配法。停用词字典的话，开源的有很多，这都不是问题。

另外要注意的问题是，英文怎么解决？我觉得只能手动翻译了，当然也可以不管，或者删除。

如何提取关键热词呢？有三个方法：

1. 词频统计：缺点在于反复出现的词不一定是热词
2. TF-IDF：占用空间太大
3. TextRank：类似于 google 排行算法的 PageRank，把词看成节点，应该就能懂了。

然后，最重要的一点，就是结合上述的方法，最后提出热门词。

第二题

评价模型的训练，感觉其实是一个监督学习中的回归问题。但这个机器学习，数据集有些少，就 50 个。

如何解决呢？首先将景区下的所有评论，拼接成一个长文档，再采用分词和停用词过滤，再用词袋模型（如TF-IDF）将非结构化的文本，转换为结构化的向量。

之后，再将评分一个个单独拆开，从而构成一个个回归问题。最后采用机器学习，或者深度学习就好了。

第三题

所谓无效，就是指那些复制粘贴的东西嘛。所以，我觉得可以用聚类，将那些属于一类的视为重复（无效）就行了。

当然，这里还是用分词，再用词袋模型（词频），将非结构化的文本，转换为结构化的向量。

第四题

合并同一景区所有评论，采用 BM25+TextRank 提取出 100 条关键句，然后在根据第一问的方法，提取出 20 个关键词。就可以看出热门的词汇，再根据热门的词汇，来分析景区的特色即可。

当然，对于高、中、低层次，可以用评分中的“总评分”，再用四分位数区分出高、中、低层次即可。

文档

https://blog.csdn.net/weixin_42141390/article/details/116504403