IMDB情感分类学习

Posted 2020-11-27 lypbendlf

需要学习链接：

使用pandas做预处理，https://blog.csdn.net/mpk_no1/article/details/71698725

https://www.jianshu.com/p/8d3f929c9444

 

1.我的想法：

1.首先是要读取数据集，建立字典，将word转为id准备输入；

2.想获取数据文本的长度分布，然后做截断，但不知道怎么写；

但是链接中考虑的更全面

1.去掉非ASCII字符，2.去掉换行符，3.转换为小写。

https://blog.csdn.net/icbm/article/details/79747024 非ASCII字符：

[^x00-x7f]

比如这样。就是不在ASCII编码中的字符吧。

其中用到了pandas库，