[Python]python爬虫简单试用

Posted 2020-10-09

一直用的是python3.4版本，所以只用了urllib爬数据，然后使用BeautifulSoup做为分析。

1、首先安装BeautifulSoup，执行命令如下：

pip install BeautifulSoup4

2、第二步开始写代码，就以我的博客为例，其实代码很简单

from urllib import request
from bs4 import BeautifulSoup

fp = request.urlopen("http://www.cnblogs.com/youyuan1980/")
html = fp.read()
soup = BeautifulSoup(html, ‘html.parser‘)
for div in soup.find_all(‘a‘,attrs={"class":"postTitle2"}):
    print(div.get(‘href‘))        #显示a标签属性的href
    print(‘text:‘+div.get_text()) #显示a标签里面的text

不用解释，看看就明白了。