Python学习笔记之爬虫1

Posted 2020-10-19 peterzhang1520389703

 爬虫的操作步骤：

 

爬虫三步走

• 爬虫第一步：使用requests获得数据：
  1.导入requests
  2.使用requests.get获取网页源码

• import requests
  r = requests.get(‘https://book.douban.com/subject/1084336/comments/‘).text
  

  　　

  　　

• 爬虫第二步：使用BeautifulSoup4解析数据：
  1.导入bs4
  2.解析网页数据
  3.寻找数据
  4.for循环打印

from bs4 import BeautifulSoup
soup = BeautifulSoup(r,‘lxml‘)
pattern = soup.find_all(‘p‘,‘comment-content‘)
for item in pattern:
print(item.string)

　　

• 爬虫第三步：使用pandas保存数据：
  1.导入pandas
  2.新建list对象
  3.使用to_csv写入

import pandas
comments = []
for item in pattern:
comments.append(item.string)
df = pandas.DataFrame(comments)
df.to_csv(‘comments.csv‘)

　　 

完整的爬虫

import requests
r = requests.get(‘https://book.douban.com/subject/1084336/comments/‘).text
 
from bs4 import BeautifulSoup
soup = BeautifulSoup(r,‘lxml‘)
pattern = soup.find_all(‘p‘,‘comment-content‘)
for item in pattern:
print(item.string)
 
import pandas
comments = []
for item in pattern:
comments.append(item.string)
df = pandas.DataFrame(comments)
df.to_csv(‘comments.csv‘)

代码运行结果：