爬虫基本原理

Posted 2020-10-21 Pythia丶陌乐

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了爬虫基本原理相关的知识，希望对你有一定的参考价值。

一爬虫是什么

爬虫：就像蜘蛛为了捕捉猎物，做了一张大网，当有小动物被黏在网上，蜘蛛就会顺着网线去找猎物位置，并吃掉猎物；
互联网就像蜘蛛的一张大网，网络中的各个设备就相当于网中的猎物，爬虫就像蜘蛛，顺着网络去找猎物，然后取到自己想要的数据。

 1 #1、什么是互联网？
 2     互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。
 3 
 4 #2、互联网建立的目的？
 5     互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递，否则你只能拿U盘去别人的计算机上拷贝数据了。
 6 
 7 #3、什么是上网？爬虫要做的是什么？
 8     我们所谓的上网便是由用户端计算机发送请求给目标计算机，将目标计算机的数据下载到本地的过程。
 9     #3.1 只不过，用户获取网络数据的方式是：
10       浏览器提交请求->下载网页代码->解析/渲染成页面。
11 
12     #3.2 而爬虫程序要做的就是：
13       模拟浏览器发送请求->下载网页代码->只提取有用的数据->存放于数据库或文件中
14 　
15     #3.1与3.2的区别在于:
16       我们的爬虫程序只提取网页代码中对我们有用的数据
17 
18 #4、总结爬虫
19     #4.1 爬虫的比喻：
20       如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物，而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取自己想要的猎物/数据
21 
22     #4.2 爬虫的定义：
23       向网站发起请求，获取资源后分析并提取有用数据的程序 
24 
25     #4.3 爬虫的价值：
26       互联网中最有价值的便是数据，比如天猫商城的商品信息，链家网的租房信息，雪球网的证券投资信息等等，这些数据都代表了各个行业的真金白银，可以说，谁掌握了行业内
27 的第一手数据，谁就成了整个行业的主宰，如果把整个互联网的数据比喻为一座宝藏，那我们的爬虫课程就是来教大家如何来高效地挖掘这些宝藏，掌握了爬虫技能，你就成了所有
28 互联网信息公司幕后的老板，换言之，它们都在免费为你提供有价值的数据。

二爬虫的基本流程

 1 #1、发起请求
 2 使用http库向目标站点发起请求，即发送一个Request
 3 Request包含：请求头、请求体等
 4 
 5 #2、获取响应内容
 6 如果服务器能正常响应，则会得到一个Response
 7 Response包含：html，json，图片，视频等
 8 
 9 #3、解析内容
10 解析html数据：正则表达式，第三方解析库如Beautifulsoup，pyquery等
11 解析json数据：json模块
12 解析二进制数据:以b的方式写入文件
13 
14 #4、保存数据
15 数据库
16 文件

三请求与响应

#http协议：http://www.cnblogs.com/linhaifeng/articles/8243379.html

#Request：用户将自己的信息通过浏览器（socket client）发送给服务器（socket server）

#Response：服务器接收请求，分析用户发来的请求信息，然后返回数据（返回的数据中可能包含其他链接，如：图片，js，css等）

#ps：浏览器在接收Response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求然后接收Response后，是要提取其中的有用数据。

四 Request

 1 #1、请求方式：
 2     常用的请求方式：GET，POST
 3     其他请求方式：HEAD，PUT，DELETE，OPTHONS
 4 
 5     ps：用浏览器演示get与post的区别，（用登录演示post）
 6 
 7     post与get请求最终都会拼接成这种形式：k1=xxx&k2=yyy&k3=zzz
 8     post请求的参数放在请求体内：
 9         可用浏览器查看，存放于form data内
10     get请求的参数直接放在url后
11 
12 #2、请求url
13     url全称统一资源定位符，如一个网页文档，一张图片
14     一个视频等都可以用url唯一来确定
15 
16     url编码
17     https://www.baidu.com/s?wd=图片
18     图片会被编码（看示例代码）
19 
20 
21     网页的加载过程是：
22     加载一个网页，通常都是先加载document文档，
23     在解析document文档的时候，遇到链接，则针对超链接发起下载图片的请求
24 
25 #3、请求头
26     User-agent：请求头中如果没有user-agent客户端配置，
27     服务端可能将你当做一个非法用户
28     host
29     cookies：cookie用来保存登录信息
30 
31     一般做爬虫都会加上请求头
32     PS：请求的相关信息——请求的内容，编码，支持的内容，语言
33 
34 
35 #4、请求体
36     如果是get方式，请求体没有内容
37     如果是post方式，请求体是format data
38 
39     ps：请求的相关信息——请求的内容，编码，支持的内容，语言
40     1、登录窗口，文件上传等，信息都会被附加到请求体内
41     2、登录，输入错误的用户名密码，然后提交，就可以看到post，正确登录后页面通常会跳转，无法捕捉到post
42 
43 
44 #5、关注点：
45 　　 cookie信息
46     User-Agent
47     Referer 上一次从哪个网站跳转过来的
48     URL编码问题

 1 from urllib.parse import urlencode
 2 import requests
 3 
 4 headers={
 5 \'Accept\':\'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8\',
 6 \'Cookie\':\'H_WISE_SIDS=101556_115474_115442_114743_108373_100099_115725_106201_107320_115339_114797_115553_116093_115546_115625_115446_114329_115350_114275_116040_110085; PSTM=1494300712; BAIDUID=42FE2934E37AF7AD1FA31D8CC7006D45:FG=1; BIDUPSID=2996557DB2710279BD865C50F9A68615; MCITY=-%3A; __cfduid=da9f97dea6458ca26aa4278280752ebb01508939712; BDSFRCVID=PGLsJeCCxG3wt_3ZUrBLDfv2D_qBZSjAgcEe3J; H_BDCLCKID_SF=tJAOoCLytI03qn5zq4Oh-4oHhxoJq5QxbT7Z0l8KtfcNVJQs-lCMhbtp-l3GJPoLWK6hBKQmWIQHDnbsbq0M2tcQXR5-WROCte74KKJx-4PWeIJo5tKh04JbhUJiB5OLBan7Lq7xfDDbbDtmej_3-PC3ql6354Rj2C_X3b7EfKjIOtO_bfbT2MbyeqrNQlTkLIvXoITJQD_bEP3Fbfj2DPQ3KabZqjDjJbue_I05f-oqebT4btbMqRtthf5KeJ3KaKrKW5rJabC3hPJeKU6qLT5Xjh6B5qDfyDoAbKOt-IOjhb5hMpnx-p0njxQyaR3RL2Kj0p_EWpcxsCQqLUonDh8L3H7MJUntKjnRonTO5hvvhb6O3M7-XpOhDG0fJjtJJbksQJ5e24oqHP-kKPrV-4oH5MQy5toyHD7yWCvjWlT5OR5Jj6KMjMkb3xbz2fcpMIrjob8M5CQESInv3MA--fcLD2ch5-3eQgTI3fbIJJjWsq0x0-jle-bQypoa-U0j2COMahkMal7xO-QO05CaD53yDNDqtjn-5TIX_CjJbnA_Hn7zepoxebtpbt-qJJjzMerW_Mc8QUJBH4tR-T3keh-83xbnBT5KaKO2-RnPXbcWjt_lWh_bLf_kQN3TbxuO5bRiL66I0h6jDn3oyT3VXp0n54nTqjDHfRuDVItXf-L_qtDk-PnVeUP3DhbZKxtqtDKjXJ7X2fclHJ7z-R3IBPCD0tjk-6JnWncKaRcI3poiqKtmjJb6XJkl2HQ405OT-6-O0KJcbRodobAwhPJvyT8DXnO7-fRTfJuJ_DDMJDD3fP36q4QV-JIehmT22jnT32JeaJ5n0-nnhP3mBTbA3JDYX-Oh-jjRX56GhfO_0R3jsJKRy66jK4JKjHKet6vP; ispeed_lsm=0; H_PS_PSSID=1421_24558_21120_17001_24880_22072; BD_UPN=123253; H_PS_645EC=44be6I1wqYYVvyugm2gc3PK9PoSa26pxhzOVbeQrn2rRadHvKoI%2BCbN5K%2Bg; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598\',
 7 \'Host\':\'www.baidu.com\',
 8 \'User-Agent\':\'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36\'}
 9 
10 # response=requests.get(\'https://www.baidu.com/s?\'+urlencode({\'wd\':\'美女\'}),headers=headers)
11 response=requests.get(\'https://www.baidu.com/s\',params={\'wd\':\'美女\'},headers=headers) #params内部就是调用urlencode
12 print(response.text)

View Code

五 Response

 1 #1、响应状态
 2     200：代表成功
 3     301：代表跳转
 4     404：文件不存在
 5     403：权限
 6     502：服务器错误
 7 
 8 #2、Respone header:响应头
 9     Location：重定向
10     set-cookie：可能有多个，是来告诉浏览器，把cookie保存下来
11     
12 #3、preview就是网页源代码:响应体
13     响应的数据不一定在静态页面中，也可能是ajax请的数据过来json的数据(更好的处理数据)
14     最主要的部分，包含了请求资源的内容
15     如网页html，图片
16     二进制数据等
17     数据在：
18     html,正则匹配
19     json,json.dumps
20     二进制数据(图片视频),wb

六总结

#1、总结爬虫流程：
    爬取--->解析--->存储

#2、爬虫所需工具：
    请求库：requests,selenium
    解析库：正则，beautifulsoup，pyquery
    存储库：文件，mysql，Mongodb，Redis

#3、爬虫常用框架：
    scrapy

#!/usr/bin/env python
# -*- coding:utf-8 -*-


import requests # pip3 install requests
import re
import time
import hashlib


movie_path=r\'D:\\爬虫学习\\爬虫\\爬虫视频\'
def get_index_page(url):
    try:
        # 模拟发送get请求
        response= requests.get(url)
        if response.status_code ==200:
            return response.text
    except Exception:
        pass

def parse_index(index_page):
    detail_urls = re.findall(\'class="items".*?href="(.*?)"\', index_page,re.S)
    for detail_url in detail_urls:
        if not detail_url.startswith(\'http\'):
            detail_url = \'http://www.xiaohuar.com/\'+detail_url
        yield detail_url


def parse_detail(detail):
    movie_details = re.findall(\'id="media".*?src="(.*?)"\', detail,re.S)
    if movie_details:
        movie_detail = movie_details[0]
        if movie_detail.endswith(\'mp4\'):
            yield movie_detail

def get_movie(url):
    try:
        response=requests.get(url)
        if response.status_code == 200:
            m=hashlib.md5()
            m.update(str(time.time()).encode(\'utf-8\'))
            m.update(url.encode(\'utf-8\'))
            filepath=\'%s\\%s.mp4\' %(movie_path,m.hexdigest())
            with open(filepath,\'wb\') as f:
                f.write(response.content)
                print(\'%s 下载成功\' %url)
    except Exception:
        pass



def main():
    base_url = \'http://www.xiaohuar.com/list-3-{0}.html\'
    for i in range(5):
        url = base_url.format(i)
        response= get_index_page(url)
        detail_urls= parse_index(response)
        for detail_url in detail_urls:
            detail = get_index_page(detail_url)
            movie_url = parse_detail(detail)
            get_movie(movie_url)

if __name__ == \'__main__\':
    main()

爬取校花网视频

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# Author:supery


import requests # pip3 install requests
import re
import time
import hashlib
from concurrent.futures import ThreadPoolExecutor


pool = ThreadPoolExecutor(50)

movie_path=r\'D:\\爬虫学习\\爬虫\\爬虫视频\'
def get_index_page(url):
    try:
        # 模拟发送get请求
        response= requests.get(url)
        if response.status_code ==200:
            return response.text
    except Exception:
        pass

def parse_index(index_page):
    index_page = index_page.result()
    detail_urls = re.findall(\'class="items".*?href="(.*?)"\', index_page,re.S)
    for detail_url in detail_urls:
        if not detail_url.startswith(\'http\'):
            detail_url = \'http://www.xiaohuar.com/\'+detail_url
        pool.submit(get_index_page,detail_url).add_done_callback(parse_detail)


def parse_detail(detail):
    detail = detail.result()
    movie_details = re.findall(\'id="media".*?src="(.*?)"\', detail,re.S)
    if movie_details:
        movie_detail = movie_details[0]
        if movie_detail.endswith(\'mp4\'):
            pool.submit(get_movie,movie_detail)

def get_movie(url):
    try:
        response=requests.get(url)
        if response.status_code == 200:
            m=hashlib.md5()
            m.update(str(time.time()).encode(\'utf-8\'))
            m.update(url.encode(\'utf-8\'))
            filepath=\'%s\\%s.mp4\' %(movie_path,m.hexdigest())
            with open(filepath,\'wb\') as f:
                f.write(response.content)
                print(\'%s 下载成功\' %url)
    except Exception:
        pass



def main():
    base_url = \'http://www.xiaohuar.com/list-3-{0}.html\'
    for i in range(5):
        url = base_url.format(i)
        pool.submit(get_index_page,url).add_done_callback(parse_index)


if __name__ == \'__main__\':
    main()