学python爬虫需要从头开始学吗

Posted 2023-04-19

现在之所以有这么多的小伙伴热衷于爬虫技术，无外乎是因为爬虫可以帮我们做很多事情，比如搜索引擎、采集数据、广告过滤等，以Python为例，Python爬虫可以用于数据分析，在数据抓取方面发挥巨大的作用。
但是这并不意味着单纯掌握一门Python语言，就对爬虫技术触类旁通，要学习的知识和规范还有喜很多，包括但不仅限于html 知识、HTTP/HTTPS 协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用等。而且涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存，甚至还包括机器学习的应用，大规模的系统背后都是靠很多技术来支撑的。
零基础如何学爬虫技术？对于迷茫的初学者来说，爬虫技术起步学习阶段，最重要的就是明确学习路径，找准学习方法，唯有如此，在良好的学习习惯督促下，后期的系统学习才会事半功倍，游刃有余。
用Python写爬虫，首先需要会Python，把基础语法搞懂，知道怎么使用函数、类和常用的数据结构如list、dict中的常用方法就算基本入门。作为入门爬虫来说，需要了解 HTTP协议的基本原理，虽然 HTTP 规范用一本书都写不完，但深入的内容可以放以后慢慢去看，理论与实践相结合后期学习才会越来越轻松。关于爬虫学习的具体步骤，我大概罗列了以下几大部分，大家可以参考：
网络爬虫基础知识:
爬虫的定义
爬虫的作用
Http协议
基本抓包工具(Fiddler)使用
Python模块实现爬虫：
urllib3、requests、lxml、bs4 模块大体作用讲解
使用requests模块 get 方式获取静态页面数据
使用requests模块 post 方式获取静态页面数据
使用requests模块获取 ajax 动态页面数据
使用requests模块模拟登录网站
使用Tesseract进行验证码识别
Scrapy框架与Scrapy-Redis：
Scrapy 爬虫框架大体说明
Scrapy spider 类
Scrapy item 及 pipeline
Scrapy CrawlSpider 类
通过Scrapy-Redis 实现分布式爬虫
借助自动化测试工具和浏览器爬取数据：
Selenium + PhantomJS 说明及简单实例
Selenium + PhantomJS 实现网站登录
Selenium + PhantomJS 实现动态页面数据爬取
爬虫项目实战：
分布式爬虫+ Elasticsearch 打造搜索引擎 参考技术A 不一定的，要看你是否有python的语法基础。
如果已经掌握了基本语法，那么直接学习爬虫相关部分就可以了。如果不熟悉python语法和语义，最好还是从头开始学起比较好。
因为python和其他语言的语法，还是有很多区别的。

python学习之爬虫一

一、爬虫介绍

数据如何获取是重点

何谓爬虫：模拟浏览器向目标服务器发送请求，爬取自己需要的信息，并存入一个文件中。

(1)首先从模拟浏览器开始：

http协议：

请求url:

https://www.baidu.com/

请求方式：

GET

请求头：

Cookie:可能需要关注

User-Agent:需要关注，服务器就是通过此，来判断该段请求的来源是不是浏览器

Host:www.baidu.com(通过分析目标网站的通信流程是什么样的 )

使用谷歌浏览器，任意访问网址，右击，点击检查，出现控制台

选择如下框起区域，此时再将鼠标移动至自己感兴趣位置，控制台中会出现整个网页的源码，找到地址

具体代码实现如下：

# # requests模块
# # pip3 install requests
# # pip3 install -i 清华源地址 模块名
# import requests
# response=requests.get(url=‘https://www.baidu.com/‘)
# response.encoding=‘utf-8‘
# print(response)  # <Response[200]>
# # 返回值是以< >括起来的，说明返回的会是对象
# # 返回相应状态码
# print(response.status_code)
# # 返回响应文本
# print(response.text)
# # print(type(response.text))
# with open(‘baidu.html‘,‘w‘,encoding=‘utf-8‘)as f:
#     f.write(response.text)
import requests
# 因为视频和图片返回的都是而二进制即byte
res = requests.get(‘https://video.pearvideo.com/mp4/adshort/20190613/cont-1565846-14013215_adpkg-ad_hd.mp4‘)
print(res.content)
with open(‘视频.mp4‘,‘wb‘)as f:
    f.write(res.content)

未完待续。。。