(C#)用 ScrapySharp 并行下载天涯图片

Posted 2020-08-08

      最近因为一个作业需要完成CNKI爬虫，研究爬虫架构的时候发现了这个疑似移植于Python的著名开源爬虫框架Scrapy的ScrapySharp，然而在网上寻找之后只发现了这个F#的Demo，就使用原文中示例的网站写了这个C#版本的代码。

      PS:研究之后发现，ScrapySharp和Scrapy差距还是挺大的，没有Scrapy那样完善的八大组件，只含有获取网页内容和基于htmlAgilityPack扩展的网页解析功能，莫名有些小失望。

using System;
using System.IO;
using System.Linq;
using System.Threading.Tasks;
using HtmlAgilityPack;
using ScrapySharp.Extensions;
using ScrapySharp.Network;

namespace ScrapySharpDemo
{
    class Program
    {
        static void Main(string[] args)
        {
            //示例网站地址
            var url = "http://bbs.tianya.cn/post-12-563201-1.shtml";
            var web = new ScrapingBrowser();
            var html = web.DownloadString(new Uri(url));
            var doc = new HtmlDocument();
            doc.LoadHtml(html);
            //获取网站中的图片地址
            var urls= doc.DocumentNode.CssSelect("div.bbs-content > img").Select(node => node.GetAttributeValue("original")).ToList();
            //并行下载图片
            Parallel.ForEach(urls, SavePic);
        }

        public static void SavePic(string url)
        {
            var web = new ScrapingBrowser();
            //因天涯网站限制,所有站外来源都无法访问图片,故先设置请求头Refer属性为当前页地址
            web.Headers.Add("Referer", "http://bbs.tianya.cn/post-12-563201-1.shtml");
            var pic = web.NavigateToPage(new Uri(url)).RawResponse.Body;
            var file = url.Substring(url.LastIndexOf("/", StringComparison.Ordinal));
            if (!Directory.Exists("imgs"))
                Directory.CreateDirectory("imgs");
            File.WriteAllBytes("imgs" + file, pic);
        }
    }
}