matlab学习 — 实现简单的爬虫

Posted 2020-10-27 darkchii

　　这里复杂的情况暂时不考虑。。测试网址为pixiv的每日排行榜 = =

url = ‘https://www.pixiv.net/ranking.php?mode=daily‘
text = webread(url) % urlopen函数也可以打开网页
link = regexp(text,‘data-filter=".*?lazy-image"data-src="(https.+?.(jpg|png))"‘,‘tokens‘) % 区分大小写的正则表达式函数 tokens匹配所有圆括号中的标文 regexpi函数不区分大小写

for i = 1 : length(link)
rgb = webread(char(link{i})) % webread函数可读取图片、音频等数据并返回对应的解析数据
imshow(rgb) % 显示图片
type = char(link{i})
name = [num2str(i) type(end-4:end)]
imwrite(rgb,[‘C:\\Users\\adimin\\Desktop\\video\\‘ name]) % 下载
end

　　

　　运行结果：

　　emm。。。实际上，才跑了一张图就停了233，不知道是不是太快了 还是什么，停掉的原因是被请求被禁止了：403
　　不过有效果就算成功了。