C#爬虫例子
Posted zhao123
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了C#爬虫例子相关的知识,希望对你有一定的参考价值。
公司需要抓取新闻,每次手动复制粘贴新闻,太麻烦了,业务人员就提出了要求,需要程序实现自动抓取新闻,因此就写了这个简单的爬虫程序。
html Agility Pack库
这是一个.NET下的HTML解析类库,它可以读/写DOM并支持普通的XPATH或XSLT。
AngleSharp库
AngleSharp是一个.NET库,可以操作基于<角括号>的超文本,如HTML,SVG,MathML,XML,CSS等。AngleSharp根据官方HTML5规范构建DOM。这也意味着最终的模型是完全交互式的,可以用于简单的操作。
··· 用AngleSharp做的简单爬虫 //1.设置配置 var config = Configuration.Default.WithDefaultLoader(); var context = BrowsingContext.New(config); //2.打开连接 var address = "https://www.sina.com.cn/"; var document = await context.OpenAsync(address); //3.选择内容范围 var cellSelector = ".newslist li"; var cells = document.QuerySelectorAll(cellSelector); //4.获取内容 var titles = cells.Select(m => m.TextContent); foreach (var title in titles) Console.WriteLine(title); ···
以上是关于C#爬虫例子的主要内容,如果未能解决你的问题,请参考以下文章