爬虫一

Posted Lani

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫一相关的知识,希望对你有一定的参考价值。

初识爬虫

 1 #! /usr/bin/env python
 2 # encoding: utf-8
 3 
 4 from bs4 import BeautifulSoup
 5 import requests
 6 
 7 
 8 response = requests.get("http://www.autohome.com.cn/news/")  
 9 # response.text
10 response.encoding = response.apparent_encoding  # 解决爬虫乱码
11 
12 soup = BeautifulSoup(response.text, features="html.parser")  # 生成Soup对象
13 soup_obj = soup.find(id="auto-channel-lazyload-article")  # find查找第一个符合条件的对象
14 
15 li_list = soup_obj.find_all("li")  # find_all查找所有符合的对象,查找出来的值在列表中
16 # print(target)
17 for i in li_list:
18     a = i.find("a")
19     if a:
20         a_attrs = a.attrs.get("href")  # attrs查找属性
21         print(a_attrs)
22         a_h = a.find("h3")
23         print(a_h)
24         img = a.find("img")
25         print(img)

requests

Python标准库中提供了:urllib、urllib2、httplib等模块以供Http请求,但是,它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务。

Requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库,其在Python内置模块的基础上进行了高度的封装,从而使得Pythoner进行网络请求时,变得美好了许多,使用Requests可以轻而易举的完成浏览器可有的任何操作。

 

以上是关于爬虫一的主要内容,如果未能解决你的问题,请参考以下文章

spider 爬虫文件基本参数

python网络爬虫

requests过时了?快看Python新一代爬虫请求库

基于UDP的新一代HTTP协议及对爬虫的影响

动态SQL基础概念复习(Javaweb作业5)

scrapy按顺序启动多个爬虫代码片段(python3)