使用js抓取今日头条的文章

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用js抓取今日头条的文章相关的知识,希望对你有一定的参考价值。

首先验证头条接口是否支持jsonp,在接口地址的参数中添加callback=call

http://www.toutiao.com/pgc/ma/?page_type=1&count=10&version=2&platform=pc&media_id=52155491628&max_behot_time=0&as=A1A578A48B28B39&cp=584B080BD3899E1&callback=call

访问接口,返回的数据为:call(...)的形式

技术分享

由此判断接口支持jsonp,那么接下来就好办了,可以使用jsonp访问接口,然后从返回数据中提取出所需要的数据。

var time = 0;
var as_param;
var cp_param;
$(function(){
	var param = getParam();
	as_param = param.as;
	cp_param = param.cp;
	getWeare();
});

function getWeare(){
	$.ajax({
		url:"http://www.toutiao.com/pgc/ma/?page_type=1&count=10&version=2&platform=pc&media_id=52155491628&max_behot_time="
		+time+"&as="+as_param+"&cp="+cp_param+"&callback=tt",
		type:‘get‘,
		dataType:‘jsonp‘,
		jsonp:‘tt‘
	});
}

function tt(data){
	var tarray = [];
	if(data.has_more==1){
		var adata = data.data;
		for(var i = 0; i < adata.length; i++){
			var tmap = {};
			var title = adata[i].title;
			var link = adata[i].source_url;
			tmap[‘title‘] = title;
			tmap[‘url‘] = TT + link;
			tarray.push(tmap);
		}
	}
}

如此,搞定

详细代码请访问微儿博客,可百度搜索微儿博客或者直接点击 www.weare.net.cn

本文出自 “12366658” 博客,请务必保留此出处http://12376658.blog.51cto.com/12366658/1882128

以上是关于使用js抓取今日头条的文章的主要内容,如果未能解决你的问题,请参考以下文章

使用php蓝天采集器抓取今日头条ajax的文章内容

今日头条算法

Python的几个爬虫代码整理(网易云微信淘宝今日头条)

python爬虫—— 抓取今日头条的街拍的妹子图

分析Ajax请求并抓取今日头条街拍美图

ajax分析-今日头条街拍美图抓取