python爬虫爬取车辆信息

Posted 2023-01-09 彭祥.

博主在完成一个项目时接触到车辆信息的获取，将一个个车辆信息添加进入数据库费时费力，因此便考虑使用python爬虫来实现数据爬取功能，爬取的网站是懂车帝，流程很简单：
爬取数据，下载图片，插入数据库。
下面介绍实现流程：
博主爬取信息时发现能用的只有车辆名称，价格，图片，其余的像车辆品牌，详情并没有获取到，当然这并不是无法获取到，只是那个链接找起来太费眼睛了，哈哈哈哈。

因此其余的所需信息博主便随机生成了。

import requests
import simplejson
def __get_car_list_data(page,cityName):
    web_url = 'https://www.dongchedi.com/motor/brand/m/v6/select/series/?city_name='+cityName

    headers = 
        'User-Agent': "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10",
        'Content-type': "application/json;charset=UTF-8"
    
    data=
        "offset": page,
        "limit": 30,
        "is_refresh": 0,
        "city_name": "北京"
    
    r = requests.post(headers = headers,url=web_url,data=data)
    _body = r.text
    json_list = simplejson.loads(_body)
    cars=json_list['data']['series']
    car_list=[]
    i=0
    info=['info1','info2','info3']#详情信息
    typeid=['1','3','4','6','2','5','8','7']#品牌编号
    score = ['8.5', '7.8', '9.0', '6.8']#评分
    region = ['中国', '日本', '德国', '美国', '俄罗斯', '英国', '意大利', '法国']#产地/车系
    for car in cars:
        downloadImg(car['outter_name'], car['cover_url'])#将获取的图片url进行下载

        d=(car['outter_name'],'img/'+car['outter_name']+'.png',car['dealer_max_price'],info[i%3],typeid[i%7],region[i%7],score[i%3],price(car['dealer_max_price']))
        car_list.append(d)
        i=i+1
    insert_data(car_list)#执行插入数据库操作
    return car_list

将获取的字段处理好后插入数据库：

def insert_data(car_list):
    # 导入pymysql包
    import pymysql
    # 创建数据库连接
    conn = pymysql.connect(host="localhost", port=3306, user="", passwd="", db="auto_mall")
    # 获取一个游标对象
    cursor = conn.cursor()
    # 设置参数i，for语句循环
    for car in car_list:
        sql = "insert into auto (name,image,price,info,typeid,region,score,p_type) values(%s,%s,%s,%s,%s,%s,%s,%s)"
        cursor.execute(sql, car)
        conn.commit()
    # 关闭连接
    conn.close()
    cursor.close()

此外图片下载方法定义：

def downloadImg(fileName,url):
    r = requests.get(url)
    with open('D:/images/'+fileName+'.png', 'wb') as f:
        f.write(r.content)

这里博主为方便按照价格区间进行检索，给设置了价格区间字段的判断：

def price(x):
    x=int(float(x))
    if x < 10:
        return '0-10万'
    elif x > 10 and x<15:
        return '0-10万'
    elif x > 15 and x < 20:
        return '15-20万'
    elif x > 20 and x < 30:
        return '20-30万'
    elif x > 30 and x < 50:
        return '30-50万'
    elif x > 50 and x < 100:
        return '50-100万'
    elif x > 100 and x < 200:
        return '100-200万'
    else:
        return '200万以上'
    print('finish')

最终效果：