初始Python爬虫

Posted 2022-11-22 ydqq

Python2与Python3的区别：

Python2将在2020年停止维护。

1. 语法；
2. 默认编码；
3. print用法；
4. Xrange等函数变化；

创建实例：

Python中主要由urllib和Request来获取网页内容。
创建urllib实例：

from urllib.request import urlopen      #调用urlopen函数

f = urlopen('http://www.llduang.com/')
f = f.read().decode('utf-8')    #read()方法是读取返回数据内容，		decode是转换返回数据的bytes格式为str
print(f)

创建requests实例：

import requests

r = requests.get('http://www.ltaaa.com/')
print(r)    # 直接返回response code
print(r.text)   # text方法是提取返回中的文本内容

爬虫三步走

第一步：使用request获取网页数据：

1. 导入requests
2. 使用requests.get方法获取网页数据

第二步：使用beautif soup 4 解析数据
3. 导入bs4
4. 解析网页数据
5. 查找想要的数据
6. for循环打印

第三步：使用pandas保存数据
7. 导入pandas
8. 新建list列表
9. 使用to_csv写入
代码：

import requests
from bs4 import BeautifulSoup
import pandas

r = requests.get('http://www.ltaaa.com').text

soup = BeautifulSoup(r, 'lxml')
pattern = soup.find_all('p', 'comment-content')
for item in pattern:
    print(item.string)
    
comments = []
for item in pattern:
    df = pandas.DataFrame(comments)
    df.to_csv('comments.csv')