C#网络爬虫

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了C#网络爬虫相关的知识,希望对你有一定的参考价值。

今天研究了一下C#的网络爬虫,大概用了三种方法:webbrowser,webClient,HttpWebRequest

webbroswer的速度相当慢,但可以进行一些操作,比如可以进行模拟点击等等;

webClient简单 易用,但是灵活性不高。不能下载需要身份验证的网页 刚试了一下,出现了爬取得页面与本页面内容部符合的现象,现在还没有发现问题的所在

HttpWebRequest复杂,灵活性高。需要身份验证的网页用此方法。

以上是关于C#网络爬虫的主要内容,如果未能解决你的问题,请参考以下文章

GJM:用C#实现网络爬虫

GJM:用C#实现网络爬虫

C#网络爬虫

C#网络爬虫--多线程处理强化版

C# 网络爬虫 抓取“北京标准时间“ 网页请求

C# 网络爬虫 抓取“北京标准时间“ 网页请求