Python超强爬虫技术，年入百万的秘密！
Posted 速学C十十编程
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python超强爬虫技术，年入百万的秘密！相关的知识，希望对你有一定的参考价值。
最近在完成了一个比较简单的python网络爬虫。首先为什么要用爬虫爬取信息呢，当然是因为要比人去收集更高效；网络爬虫，可以理解为自动帮你在网络上收集数据的机器人。
网络爬虫简单可以大致分三个步骤：
第一步要获取数据，
第二步对数据进行处理，
第三步要储存数据。
获取数据的时候这里我用到了python的urllib标准库，它是python中非常方便抓取网页内容的一个模块。
项目目的：这里我要爬取的是电影天堂一个电影页面的电影名称，日期等数据。
代码如下：
from urllib import request
def get_data ( ):
url='http://www.dytt8.net/html/gndy/dyzz/list_23_1.html'
headers={'User-Agent': ' Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' }
req=request.Request(url, headers=headers)
response=request.urlopen(req)
# print (type(response)) #响应对象的类型
# print(response.getcode()) #响应状态码
# print(response.info())
if response.getcode() == 200:
data=response.read()#读取响应的结果
data =str(data,encoding='gb2312')
#print(data)
#将数据写入文件中
with open ('index.html',mode='w',encoding='gb2312') as f:
f.write(data)
这里的headers是一个参数，就是你的浏览器在访问服务器的时候，会让服务器知道你的浏览器的一些信息，还有操作系统等信息。if 函数来判断当网站成功响应的时候，会返回一个200.这时候读取响应的数据结果，就是网页的代码。这里我做了一个字符串转化处理，根据网页代码显示编码为gb2312，所以这时候只要将encoding设置为gb2312就可以了。
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<META http-equiv=Content-Type content="text/html; charset=gb2312">
根据上面的网页代码，charset为gb2312判断的。
当我们存取了网页数据后，发现它还是html格式的，而且有很多html，css的代码，但是我们只想要其中的文字信息，这时候怎么办呢。
这时候就要用到一个强大的数据处理模块，beautifusoup4，俗称美味汤。安装好这个模块后。我们就可以对我们的html文件做进一步的处理，提取我们需要的信息。
from urllib import request
from bs4 import BeautifulSoup
def get_data ( ):
url='http://www.dytt8.net/html/gndy/dyzz/list_23_1.html'
headers={'User-Agent': ' Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' }
req=request.Request(url, headers=headers)
response=request.urlopen(req)
# print (type(response)) #响应对象的类型
# print(response.getcode()) #响应状态码
# print(response.info())
if response.getcode() == 200:
data=response.read()#读取响应的结果
data =str(data,encoding='gb2312')
#print(data)
#将数据写入文件中
with open ('index.html',mode='w',encoding='gb2312') as f:
f.write(data)
def parse_data():
with open ('index.html',mode='r',encoding='gb2312') as f:
html = f.read()
bs = BeautifulSoup(html,'html.parser')
metas = bs.select("[class~=ulink]")
date = bs.select("[color=#8F8C89]")
i=0
while i < 25:
print(metas[i].get_text())
print(date[i].get_text())
i=i+1
if __name__ == '__main__':
#get_data()
parse_data()
这里我们用到了美味汤中的CSS选择器功能，就是只把我们想要的信息选择处来，根据网页代码，发现class等于ulink的时候后面跟着的信息是我们需要的。还有color=#8F8C89也是我们需要的。使用select方法，将选中的信息筛选出来。最终结果：
我们就得到了电影信息以及发布的时间信息。后面还有很多。根据这次简单爬虫的实现，我发现web爬虫除了你要懂python的知识之外，对于html，CSS等前端知识你也要有一定了解。爬虫是模拟人去收集网站数据的，有些网站以及建立了反爬虫技术。所以爬虫的技术也在不断更新。
扫码(或长按识别)进群，更多知识在等你学习~
声明：本文于网络整理，著作权归原作者所有，如有侵权，请联系小编删除。
以上是关于Python超强爬虫技术，年入百万的秘密！的主要内容，如果未能解决你的问题，请参考以下文章
和一个已经浙大本科毕业，现已年入百万的高管交流，交流时长一小时，看看我们究竟谈了什么?