5行python代码实现简单的网络爬虫

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了5行python代码实现简单的网络爬虫相关的知识,希望对你有一定的参考价值。

1、python代码如下图,我们从

http://gitbook.cn/这网站中爬取数据。

技术分享图片

2、运行上图代码之前要下载安装好chardet和requests安装包,可以在我的博客里免费下载这两个安装包。解压好后放到安装python的目录下,如下图

技术分享图片

3、打开cmd命令窗口进行安装,如下图

技术分享图片

                                              图1安装chardet

技术分享图片

                                           图2安装requests

4、再次打开cmd命令窗口,检查是否安装完成

技术分享图片

5、这时候就可以运行前面写的爬虫代码了,结果若下图,,,这就实现了简单的网络爬虫技术分享图片

以上是关于5行python代码实现简单的网络爬虫的主要内容,如果未能解决你的问题,请参考以下文章

关于python网络爬虫——摘取新闻标题及链接

requretsre实现简单爬虫

Python网络爬虫:爬取古诗文中的某个制定诗句来实现搜索

Python爬虫:想听榜单歌曲?只需要14行代码即可搞定

干货|500行Python代码构建一个轻量级爬虫框架(大神)

浅谈网络爬虫中深度优先算法和简单代码实现