简单爬虫

Posted 2021-01-29 tangchun

使用htmlAgilityPack来开发简单爬虫：

1、NuGet安装HtmlAgilityPack

2、简单的爬虫代码

　　

HtmlWeb web=new HtmlWeb();
string url="网站地址";
var doc = web.Load(url);
//使用并行查询来获取元素的属性值
IList<string> detailPageUrls = new List<string>();
            doc.DocumentNode.SelectNodes("//a[@class=‘js-title value title-font‘]")
                .AsParallel().ToList().ForEach(hn =>
                {
                    string detailPageurl = hn.GetAttributeValue("href", string.Empty);
                    if (!string.IsNullOrWhiteSpace(detailPageurl))
                    {
                        detailPageUrls.Add(detailPageurl);
                    }
                });

官网地址：https://html-agility-pack.net/