Python应用 - 爬虫开发记录01

Posted HELLO WORLD

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python应用 - 爬虫开发记录01相关的知识,希望对你有一定的参考价值。

Python爬虫

# 开发思路

准备 - 分析网页内容-结合chrome开发者模式
爬取原始数据
    HTTP库
提取/清洗数据
保存

 

# 引入包

urllib - 指定url 获取网页信息
bs4 - 解析网页
re - 正则表达式,文字匹配

xlwt - excel操作
sqlite3 - SQLite操作

 

以上是关于Python应用 - 爬虫开发记录01的主要内容,如果未能解决你的问题,请参考以下文章

scrapy主动退出爬虫的代码片段(python3)

8个高效的Python爬虫框架分享

《Python爬虫技术:深入理解原理技术与开发》已经出版,欢迎关注

python爬虫学习笔记-M3U8流视频数据爬虫

Python爬虫学习记录内附代码详细步骤

Python 开发轻量级爬虫01