用C程序通过curl多线程抓取网页的实例怎么写,请高手贴出个简单实例吧!谢谢了!急!

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了用C程序通过curl多线程抓取网页的实例怎么写,请高手贴出个简单实例吧!谢谢了!急!相关的知识,希望对你有一定的参考价值。

参考技术A 1、要用程序抓取网页自动保存到本地,就要会用socket编程,或者学习使用libcurl库,不做网页抓取的时候,这些知识依然非常有用。而且,不同的网页,内容不同,规律可能也不同。
2、网页分析,本质是字符串处理和分析。所以需要掌握正则表达式和字符串处理相关的函数,以及函数库,比如tidy库等。正则表达式是用来匹配一类字符串的,方便找规律,也方便处理。而且,正则表达式跟语言无关,什么语言都能用得到。标准C库中没有正则表达式相关的函数,一般来说C中使用两种正则表达式库,一为POSIX C正则库,二为perl正则库PCRE。相比较而言PCRE要强大些,POSIX C正则库就足够使用。
3、例程,将下载下来的网页源代码处理成没有标签的纯文字文本。
参考技术B C程序中没用过curl,shell中倒是用过,你可以参考一下
http://blog.csdn.net/ace_fei/article/details/6836522本回答被提问者采纳

以上是关于用C程序通过curl多线程抓取网页的实例怎么写,请高手贴出个简单实例吧!谢谢了!急!的主要内容,如果未能解决你的问题,请参考以下文章

curl模拟多线程抓取网页(优化)

PHP多进程 :内部多进程

用PHP的curl实现并发请求远程文件(抓取远程网页)

PHP通过CURL模拟登录并获取数据

windows环境下c语言支持ftp和http多线程下载的客户端

使用PHP的cURL库进行网页抓取