使用webpasser抓取某笑话网站整站内容

Posted golook

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用webpasser抓取某笑话网站整站内容相关的知识,希望对你有一定的参考价值。

使用webpasser框架抓取某一笑话网站整站内容。webpasser是一款可配置的爬虫框架,内置页面解析引擎,可快速配置出一个爬虫任务。配置方式将页面解析和数据存储分离,如果目标网站改版,也可以快速修复。

配置说明如下(该例子完整配置见http://git.oschina.net/passer/webpasser):

    1.先写总的抓取参数:网页编码是gbk,请求超时时间是5秒,请求失败重试5次,抓取失败后等待时间10秒,设置10个线程抓取,每次抓取后不等待。这里不设置请求头信息、cookie,代理了。

<fetchConfig charset="gbk" timeOutSecond="5" errorRetry="5" errorDelayTime="10" runThreadNum="10"  fetchPrepareDelayTime="0" >
		    <userAgent>Mozilla/5.0 (compatible; webpasser;)</userAgent>
			<headers>
				<!-- <header name="Referer" value="http://www.jokeji.cn" /> -->
			</headers>
			<!-- HTTP Cookie -->
			<cookies>
			<!--   <cookie  name="cookie1" value="" host="" path=""/>
		           <cookie name="cookie2" value="1"  /> -->
			</cookies>	
			<!-- 代理设置: 从ip.txt中批量获读取ip,每次抓取随机使用某个ip -->
			<!-- <proxies path="ip.txt"></proxies> -->
			<!-- 单个代理获取 ,pollUrl的系统链接中需随机返回一个代理ip,格式是  ip:port  
			     (当使用proxy标签时proxies失效) 
			-->
		<!-- 	<proxy pollUrl="http://localhost:8083/proxyManage/pollProxyIp.action?task=xunbo" ></proxy>
	 -->
	</fetchConfig>

    2.scope表示限制抓取的链接域名范围(注意limitHost里一定要是域名,不能在前后加http或/),seeds表示从这些seed为入口开始抓取。

	<scope>
		<limitHost value="www.jokeji.cn" />

	</scope> 
	
	<!-- 种子 -->
	<seeds>
		<seed url="http://www.jokeji.cn/" /> 
	</seeds>

    3.如果网页的链接格式符合scope的规则,则进入这个page的解析策略。digLink是用来从一个网页中挖取新的链接。用jsoup语法指定从所有的a标签挖取新链接。由于新链接是相对链接,用relativeToFullUrl处理链将相对链接转为绝对链接。

技术分享图片

	<page>
		<scope>
		   <rule type="regex" value="http://www.jokeji.cn(.*)" />
		</scope>
		<!-- 链接挖取 -->
	     <digLink  >
	          <rules>
					<rule type="jsoup" value="a[^href]" attr="href"  />
						 <rule type="relativeToFullUrl"  /> 
				</rules>
	     </digLink>
	     
	</page>

4.抽取详情页中想要的具体业务数据,经过下面解析后返回指定的map数据。

(1)获取标题数据:通过jsoup语法(jquery选择器)获得title标签中的内容;由于title内容中"_"后面的内容不需要,通过“cut”便签(截取处理链)将“_”后面的内容去除。

技术分享图片

(2)获取文章内容的数据:通过jsoup语法(jquery选择器)获得id为text110的标签里的内容。

技术分享图片

	<!-- 解析具体的业务数据,处理后是一个map
	  -->
	<page>
		<scope>
		   <rule type="regex" value="http://www.jokeji.cn/jokehtml/(.*).htm" />
		</scope>
		<field name="title" >
			 <!-- 提取某个字段数据的处理链  -->
			<rules>
	   			 	 <rule type="jsoup" value="title" exp="html()" />
	   			  <rule type="cut" >
				     <pre></pre>
				     <end>_</end>
				  </rule>
			</rules>
		</field>
		<field name="content" >	
			 <rules>	
			<rule type="jsoup" value="#text110"  />
			</rules>
		</field>
	</page>

5.解析好的数据持久化配置(存储步骤4中的数据):target为handleResultMapInterface是固定值,表示是持久化的类,classPath是具体的实现类。com.hxt.webpasser.persistent.impl.DiskJsonHandleResult是存储到硬盘的实现类demo,该类属性有rootDir(保存到哪个文件夹)、charSet(存储时的编码),详见该类。可自定义编写持久化类,继承HandleResultMapInterface接口,有些属性用配置传入。(建议持久化是另外一个独立项目提供数据存储的http接口,爬虫请求该接口将数据push进去,这样分离维护比较方便,例com.hxt.webpasser.persistent.impl.VideoPushServcieImpl)

	 <!-- 抓取解析后的数据持久化 -->
	  <resultHandler target="handleResultMapInterface" classPath="com.hxt.webpasser.persistent.impl.DiskJsonHandleResult">
	 			<property name="rootDir" value="downdir/path/jokeji" ></property>
	 			<property name="charSet" value="gbk" ></property>
	 </resultHandler>
	 

6.配置写好后就可以加入任务,启动测试了。建议可以单个测试下。

技术分享图片

技术分享图片

 

技术分享图片

以上是关于使用webpasser抓取某笑话网站整站内容的主要内容,如果未能解决你的问题,请参考以下文章

强大的扒站工具Teleport Ultra可整站下载可抓取到CSS背景图片

网站爬取-案例二:天猫爬取( 第一卷:首页数据抓取)

python3+beautifulSoup4.6抓取某网站小说基础功能设计

爬取小说网站整站小说内容 -《狗嗨默示录》-

整站下载器

wget 爬取网站网页