神箭手爬虫学习笔记
Posted frankie_killer
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了神箭手爬虫学习笔记相关的知识，希望对你有一定的参考价值。
一，可以使用神剑手已经做好的爬虫市场直接跑，不需要自己定义爬取规则
二，爬虫市场里没有的网站，需要自己去定义规则来爬数据。
三，爬取的数据可以先存放在神剑手，也可以放到七牛暂存。（提醒下，网站需要数据备份如果数量不大可以到七牛做备份，有免费版）
四，爬取的数据可以直接发布到数据库，也可以发布到具有支持神剑插件的网站。可以手动发布，也可以自动发布。
五，可以使用代理IP，防封
六：常用的几个辅助工具：http://docs.shenjianshou.cn/develop/tools/tools.html
------------------------------------------------------------------------------------------------------
如何写规则
<1> 定义config 对象，运行config对象
<2> 需要掌握Xpath,Jsonpath,正则表达式
-------------------------------------------------------------------------------------------------------
恶补下正则表达式吧
以上是关于神箭手爬虫学习笔记的主要内容，如果未能解决你的问题，请参考以下文章