Scrapy:抓取返回数据格式为JSON的网站内容

Posted 2022-07-30 陈小峰_iefreer

有些网站的数据是通过ajax请求获取的，或者提供了json格式的api。

比如对于如下的数据：

        
            "url": "http://www.techbrood.com/news/1",
            "author": "iefreer",
            "title": "techbrood Co. test 1"
        ,
        
            "url": "http://www.techbrood.com/news/2",
            "author": "ryan.chen",
            "title": "techbrood Co. test 2"
        

在Scrapy里，只要简单改写下parse函数就行：

    def parse(self, response):
        sites = json.loads(response.body_as_unicode())
        for site in sites:
        	print site['url']

调用body_as_unicode()是为了能处理unicode编码的数据。

by iefreer