写爬虫时碰到过乱码吗?乱码了怎么办?超长篇教学解决方法给你!

Posted sm123456

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了写爬虫时碰到过乱码吗?乱码了怎么办?超长篇教学解决方法给你!相关的知识,希望对你有一定的参考价值。

---恢复内容开始---

技术分享图片

技术分享图片

技术分享图片

百度风云榜一共有50个关键词,我们先任选其中一个打开看看。

从零基础到项目实战视频群:125240963

技术分享图片

一、实验目的

我们的目的是通过百度风云榜,获取相关关键词的新闻内容。(后面会有一篇文章会讲到用咱们今天获取的数据做文本聚类)

技术分享图片

技术分享图片

技术分享图片

运行,结果keyword全部为乱码,没有一点中文的痕迹。

技术分享图片

这就是我们今天要克服的问题-html编码问题。

遇到这种问题问题,我们可能会先在html标签中查找charset字符集。一般charset值有utf-8、gbk、gb2312、ascii等。

技术分享图片

技术分享图片

再次运行,汉字正常显示。

技术分享图片

2.2 定位搜索页面新闻链接

上面我们获取到了关键词及其链接,浏览器点击“46年吃3万个汉堡”对应的链接,跳转到 百度搜索页,如下图。

技术分享图片

我们想获取新闻内容,而要获取新闻内容,我们就要知道新闻对应的链接。首先我们要定位,如下图。这里我们使用另外一种方式定位链接-正则表达式。

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

2.4 编写爬虫主函数

编写爬虫主函数,将数据保存到csv中。

技术分享图片

技术分享图片

运行爬虫,采集了50个关键词共388篇新闻内容。后续我们将对388篇文章内容做聚类分析,采用Kmeans算法试图让机器对388篇文章进行分类标注。而50个关键词则可以作为标签,衡量聚类的效果。

技术分享图片

觉得这篇文章有帮到你的话,请给个关注哦!

技术分享图片

---恢复内容结束---

以上是关于写爬虫时碰到过乱码吗?乱码了怎么办?超长篇教学解决方法给你!的主要内容,如果未能解决你的问题,请参考以下文章

java爬虫一段话里的部分字符乱码解决

彻底解决Python3写爬虫或网站时的乱码问题

java网络爬虫,乱码问题终于完美解决

mysql乱码问题

python爬虫抓取到的数据用网页打开时是乱码,怎么解决

使用python进行URL编码,爬虫时解决参数乱码的问题