初识爬虫
Posted bug-king
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了初识爬虫相关的知识，希望对你有一定的参考价值。
1.爬虫的定义：脚本，程序--->自动抓取万维网上信息的程序。
2、爬虫可以解决的问题：
（1）解决冷启动的问题。（初创网站没有自己的信息直接爬取其他平台获取信息）
（2）搜索引擎的根基。做搜索引擎，必须使用爬虫。
（3）帮助机器学习建立知识图谱。
机器学习最终的是训练集。训练集可以靠爬虫爬去。
（4）可以制作比较软件。
3.爬虫注意：
（1）、robots协议
定义：网络爬虫排除标准
作用：告诉搜索引擎哪些可以爬哪些不能爬。
（2）、sitemap:网站地图，可以帮助我们了解一个网站的结构。
（3）、估算网站的大小
site:www.taobao.com
以上是关于初识爬虫的主要内容，如果未能解决你的问题，请参考以下文章