如何自学Python爬虫技术

Posted 2020-09-21

作为程序员或者软件测试员们的一员，置信大家一定都听说过python语言。

Python语言这两年是越来越火了，它渐渐崛起也是有缘由的。

比如市场需求、入门简单易学、支持多种语言……当然这些都是很官方的。

说白了，就是

写个web服务，可以用python；

写个服务器脚本，可以用python；

写个桌面客户端，可以用python；

做机器学习数据挖掘，可以用python；

写测试工具自动化脚本依旧可以用python……

Python语言是免费支持的！

既然那么好，如何利用python进行有意义的行（zhuan）为（钱）呢？

今天，小编和大家一起学习python爬虫技术呢？

一、老生常谈-学习准备

学会提前准备是一切好的开始，学习语言更是如此。兴趣是最好的老师，学习爬虫技术，可以给自己定个目标，比如为了妹纸，爬取时尚网站的数据信息，打包给那个她······

基础知识必须掌握

什么是爬虫？数据是从哪里来的？这些基础到不行的知识点，请自行搜索！你还得掌握：

·HTML，了解网页的结构，内容等，帮助后续的数据爬取。

·Python

因为比较简单，零基础可以听一些大牛的博客文章，或者听别人是怎么说

python玩转自动化测试，这个点有基础的同学，可以略过哈~

·TCP/IP协议，HTTP协议

了解在网络请求和网络传输上的基本原理，帮助今后写爬虫的时候理解爬虫的逻辑。

二、爬取整个网站的构思

当用户在浏览网页时，会看图片。

点击网址看到的图片，是用户输入网址-DNS服务器-服务器主机-服务器请求-服务器解析-发送浏览器HTML、JS、CSS-浏览器解析-解析图片

爬虫需要爬取，有HTML代码构成的网页，然后获取图片和文字！

三、环境配置

环境配置总是最重要的一个环境，做过测试的都知道。python也一样，需要掌握几款好用的IDE，我们来看看常用的几个：

1、Notepad++，简单，但是提示功能不强

2、PyCharm，用于一般IDE具备的功能，比如，调试、语法高亮、代码跳转、等等，同时可用于Django开发，支持Google App Engine，更酷的是，PyCharm支持IronPython！

好的开发工具是一切工作完成的前提。

爬取这么多数据，赚钱岂不是分分钟~技艺快学起来吧！

原文链接：http://www.magedu.com/71963.html

本文出自 “马哥Linux培训” 博客，请务必保留此出处http://mageedu.blog.51cto.com/4265610/1931428