Python实战采集某宝商品：帮你挑选女朋友最爱的月饼口味

Posted 2021-09-04 白又白学Python

马上到月饼节了，又到了吃月饼的日子了，python帮你挑选最爱的月饼口味

目标网址：某宝

工具使用

开发工具：pycharm
开发环境：python3.7， Windows10
使用工具包：requests，lxml

重点学习的内容

• get请求
• 获取网页数据
• 提取数据方法

项目思路解析

淘宝网站是需要登录获取，登录的方式可以尝试解析淘宝的接口，白又白这里直接用cookie请求头的方式实现状态保持，登录之后获取(但是最近淘宝好像是不需要登录了，小伙伴可以自己尝试下)
找到你需要搜索的关键字，马上要中秋节了（白又白这里搜索的是月饼）

淘宝的页数是由url进行渲染的，通过url来获取商品的页数
url可以做简化处理

简化之前
https://s.taobao.com/search?q=%E6%9C%88%E9%A5%BC&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20210829&ie=utf8&bcoffset=3&ntoffset=3&p4ppushleft=2%2C48&s=44

简化之后
https://s.taobao.com/search?q={}&s={}

q为搜索的关键字，s为你要获取的页数
通过requests工具发送网络请求
获取网页数据
​

    key = "月饼"
    for i in range(1, 4):
        url = \'https://s.taobao.com/search?q={}&s={}\'.format(key, str(i*44))
        get_data(url)

获取的数据为html数据可以通过xpath方式，正则，pyquery，bs4的方式进行数据提取挑选合适自己的，习惯使用的
通过正则方式提取数据

淘宝的数据是存在json数据里的提取下来之后可以通过字典取值的方式获取
提取的数据：

• 价格
• 付款人数
• 标题
• 店铺
• 地点

data = re.findall(\'"auctions":(.*?),"recommendAuctions\', response.text)[0]
    for info in json.loads(data):
        item = {}
        item[\'网址\'] = info[\'detail_url\']
        item[\'标题\'] = info[\'raw_title\']
        item[\'图片地址\'] = info[\'pic_url\']
        item[\'价格\'] = info[\'view_price\']
        item[\'地点\'] = info[\'item_loc\']
        item[\'购买人数\'] = info.get(\'view_sales\')
        item[\'评论数\'] = info[\'comment_count\']
        item[\'店铺\'] = info[\'nick\']

最终保存数据，数据保存在csv表格

def save_data(data):
    f = open(\'月饼.csv\', "a", newline="", encoding=\'utf-8\')
    csv_writer = csv.DictWriter(f, fieldnames=[\'标题\', \'价格\', \'购买人数\', \'地点\', \'网址\', \'图片地址\', \'评论数\', \'店铺\'])
    csv_writer.writerow(data)

简易源码分享

headers = {
    \'referer\': \'https://s.taobao.com/\',
    \'cookie\': \'\',
    \'user-agent\': \'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36\',
}

def save_data(data):
    f = open(\'月饼.csv\', "a", newline="", encoding=\'utf-8\')
    csv_writer = csv.DictWriter(f, fieldnames=[\'标题\', \'价格\', \'购买人数\', \'地点\', \'网址\', \'图片地址\', \'评论数\', \'店铺\'])
    csv_writer.writerow(data)


def get_data(url):
    response = requests.get(url, headers=headers)
    print(response.text)
    data = re.findall(\'"auctions":(.*?),"recommendAuctions\', response.text)[0]
    for info in json.loads(data):
        item = {}
        item[\'网址\'] = info[\'detail_url\']
        item[\'标题\'] = info[\'raw_title\']
        item[\'图片地址\'] = info[\'pic_url\']
        item[\'价格\'] = info[\'view_price\']
        item[\'地点\'] = info[\'item_loc\']
        item[\'购买人数\'] = info.get(\'view_sales\')
        item[\'评论数\'] = info[\'comment_count\']
        item[\'店铺\'] = info[\'nick\']
        print(item)
        save_data(item)



if __name__ == \'__main__\':
    file = open(\'月饼.csv\', "w", encoding="utf-8-sig", newline=\'\')
    csv_head = csv.writer(file)
    # 表头
    header = [\'标题\', \'价格\', \'购买人数\', \'地点\', \'网址\', \'图片地址\', \'评论数\', \'店铺\']
    csv_head.writerow(header)
    key = "月饼"
    for i in range(1, 4):
        url = \'https://s.taobao.com/search?q={}&s={}\'.format(key, str(i*44))
        get_data(url)
        time.sleep(5)

关注我持续为您分享干货内容，你的收藏、评论、点赞就是对我最大的支持！