爬虫中使用格式化参数动态修改URL

Posted 2021-02-19 kintsugi

在爬取京东商品评论区的过程中，发现每个商品的评论区接口相似，应立即意识到：

 

于是编写函数，通过格式化参数动态改变URL

定义fetch_url为商品ID,page为当前评论页数，将原URL中的id和page用%s占位符代替，后面使用%(fetch_url, page)替换

注意：若是单个参数，使用 %page 即可

　　　如果是多个函数，使用 %(fetch_url, page).而并不是我之前的写法：%fetch_url, %page

def fetch_comment(fetch_url, page=0):

    url = ‘https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=%s&score=0&sortType=5&page=%s&pageSize=10&isShadowSku=0&fold=1‘   %(fetch_url, page)