爬虫介绍及环境

Posted zhuzhizheng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫介绍及环境相关的知识,希望对你有一定的参考价值。

爬虫

  • 什么是爬虫
    • 就是通过编写程序模拟浏览器上网,让其去互联网中抓取数据的过程。
  • 爬虫的分类:
    • 通用爬虫:爬取一整张页面源码数据。
    • 聚焦爬虫:爬取页面中局部的数据。一定是在通用爬虫的基础上实现。
      • 数据解析
    • 增量式爬虫:用来监测网站数据更新的情况。以便于爬取最新更新出来的数据!
  • 爬虫合法性探究:
    • 爬虫的风险体现:
      • 爬虫干扰了被访问网站的正常运营;
      • 爬虫抓取了受到法律保护的特定类型的数据或信息。
    • 如何规避风险:
      • 严格遵守网站设置的robots协议;
      • 在规避反爬虫措施的同时,需要优化自己的代码,避免干扰被访问网站的正常运行;
      • 在使用、传播抓取到的信息时,应审查所抓取的内容,如发现属于用户的个人信息、隐私或者他人的商业秘密的,应及时停止并删除。
  • 反爬机制
    • robots协议:存在于服务器端的一个纯文本的协议。
      • User-Agent:就是请求载体的身份标识。
      • 特点:防君子不放小人
  • 反反爬策略
  • http的头信息
    • User-Agent
    • Connection:‘close’
    • content-type

anaconda软件介绍

  • 什么是anaconda
    • 是一个基于数据分析+机器学习的集成环境。
  • 什么是jupyter(超级终端)
    • 是anaconda中的一个基于浏览器可视化的编码工具
  • 在指定目录下启动终端:录入jupyter notebook指令开辟指定的服务。

  • cell的两种模式:cell必须要经过执行才可看到效果
    • MarkDown:编写笔记。兼容markdown的语法和html标签
    • Code:编写代码。

快捷键

  • 插入cell:a,b
  • 删除cell:x
  • 执行cell:shift+enter
  • tab:自动补全
  • 切换cell的模式:y,m
  • 打开帮助文档:shift+tab

以上是关于爬虫介绍及环境的主要内容,如果未能解决你的问题,请参考以下文章

[Python爬虫] 在Windows下安装PhantomJS和CasperJS及入门介绍(上)

scrapy介绍及使用

[Python学习] 简单网络爬虫抓取博客文章及思想介绍

jieba库的基本介绍及爬虫基本操作

聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎

Python爬虫 ---scrapy框架初探及实战