爬虫实例之selenium爬取淘宝美食

Posted HHello_World

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫实例之selenium爬取淘宝美食相关的知识,希望对你有一定的参考价值。

这次的实例是使用selenium爬取淘宝美食关键字下的商品信息,然后存储到MongoDB。

 

首先我们需要声明一个browser用来操作,我的是chrome。这里的wait是在后面的判断元素是否出现时使用,第二个参数为等待最长时间,超过该值则抛出异常。

browser = webdriver.Chrome()
wait = WebDriverWait(browser,10)

声明好之后就需要进行打开网页、进行搜索的操作。

#使用webdriver打开chrome,打开淘宝页面,搜索美食关键字,返回总页数
def search():
    try:
        browser.get(https://www.taobao.com)
 
#判断输入框是否已经加载
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,#q)))  

#判断搜索按钮是否可以进行点击操作       
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,#J_TSearchForm > div.search-button > button)))

#输入美食,点击搜索按钮
        input.send_keys(美食)
        submit.click()    

#使用css_selector找到显示总页面的元素,判断是否出现并获取其中文字
        total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,#mainsrp-pager > div > div > div > div.total)))
        get_products()
        return total.text
    except TimeoutException:
        print(timeout!)
        return search()

 

第一个页面操作之后,我们需要进行翻页操作,如下:

#进行页面的跳转,输入下一页的页号,然后点击确定按钮,在高亮区域判定是否正确跳转
def next_page(page_num):
    try:

#判断输入框是否出现
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,#mainsrp-pager > div > div > div > div.form > input)))

#判断确定按钮是否可点击
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit)))

#清空输入框现有内容然后输入页号,点击确定
        input.clear()
        input.send_keys(page_num)
        submit.click()

#根据高亮区域显示数字来判断页面是否跳转成功        
wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,#mainsrp-pager > div > div > div > ul > li.item.active > span),str(page_num)))

#跳转成功则获取该页所有商品详情
        get_products()        
    except TimeoutException:
        next_page(page_num)

 

写完搜索操作和翻页操作后,我们需要完成对每个页面的商品信息获取功能。

#获取商品详情
def get_products():

#判断商品的item是否加载出来
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,#mainsrp-itemlist .items .item)))

#获取该页的源代码
    html = browser.page_source

#使用pyquery进行解析,获取需要的信息
    doc = pq(html)
    items = doc(#mainsrp-itemlist .items .item).items()
    for item in items:
        product = {
            image:item.find(.pic .img).attr(src),
            price:item.find(.price).text(),
            deal:item.find(.deal-cnt).text()[:-3],
            title:item.find(.title).text(),
            shop:item.find(.shop).text(),
            location:item.find(.location).text(),
        }
        print(product)
        save_to_mongo(product)

 

获取信息之后则需要对信息进行存储:

def save_to_mongo(result):
    try:
        if db[MONGO_TABLE].insert(result):
            print(存储成功,result)
    except Exception:
        print(存储失败,result)

 

主函数:

def main():
    total = search()
    total = int(re.search((\d+),total).group(1))   #‘\d‘表示匹配数字
    for i in range(2,total+1):
        next_page(i)

 

以上是关于爬虫实例之selenium爬取淘宝美食的主要内容,如果未能解决你的问题,请参考以下文章

用selenium爬取淘宝美食

淘宝密码(爬虫爬取淘宝美食的数据源码)

用selenium爬取淘宝美食

利用selenium爬取淘宝美食内容

爬虫技术:爬取淘宝美食数据:崔庆才思路

爬虫实战--使用Selenium模拟浏览器抓取淘宝商品美食信息