C#爬虫之~苏飞万能框架使用教程

Posted 源头活水

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了C#爬虫之~苏飞万能框架使用教程相关的知识,希望对你有一定的参考价值。

  苏飞的框架帮助类,很多人应该都知道,不知道可以百度,此处直接说用法。

//引入命名空间
using CsharpHttpHelper;

//创建Httphelper对象
HttpHelper http = new HttpHelper();
//创建Httphelper参数对象
HttpItem item = new HttpItem()
{
    URL = "http://ok121.cn",//URL     必需项    
    Method = "get",//URL     可选项 默认为Get   
    IsToLower = false,//得到的html代码是否转成小写     可选项默认转小写   
    Cookie = "",//字符串Cookie     可选项   
    Referer ="",//来源URL     可选项   
    Postdata = "",//Post数据     可选项GET时不需要写   
    Timeout = 100000,//连接超时时间     可选项默认为100000    
    ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000   
    UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",//用户的浏览器类型,版本,操作系统     可选项有默认值   
    ContentType = "text/html",//返回类型    可选项有默认值   
    Allowautoredirect = false,//是否根据301跳转     可选项   
    //CerPath = "d:\123.cer",//证书绝对路径     可选项不需要证书时可以不写这个参数   
    //Connectionlimit = 1024,//最大连接数     可选项 默认为1024    
    ProxyIp = "",//代理服务器ID     可选项 不需要代理 时可以不设置这三个参数    
    //ProxyPwd = "123456",//代理服务器密码     可选项    
    //ProxyUserName = "administrator",//代理服务器账户名     可选项   
    ResultType = ResultType.String
    //ContentType = "application/x-www-form-urlencoded",//返回类型    可选项有默认值   
};
//自己定义添加请求
item.Header.Add("key1", "value1");
item.Header.Add("key2", "value2");
//请求的返回值对象
HttpResult result = http.GetHtml(item);
//获取请请求的Html
string html = result.Html;
//获取请求的Cookie
string cookie = result.Cookie;
//还有很多强大的功能

 


 

 

以上是关于C#爬虫之~苏飞万能框架使用教程的主要内容,如果未能解决你的问题,请参考以下文章

求编程大佬 Python 爬虫

scrapy按顺序启动多个爬虫代码片段(python3)

Java培训教程之使用Jsoup实现简单的爬虫技术

scrapy主动退出爬虫的代码片段(python3)

C# 爬虫框架实现 概述

Python爬虫教程-30-Scrapy 爬虫框架介绍