Go分布式爬虫学习

Posted fun binary

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Go分布式爬虫学习相关的知识,希望对你有一定的参考价值。

07_分布式

12|分布式系统设计:数据一致性与故障容错的纠葛

  • 分布式核心问题

    • 数据一致性
    • 可用性
  • 数据一致性的诞生背景

  • CAP定理

    • C(Consistency): 线性一致性;
    • A(Availability): 可用性
    • P(Partition tolerance): 分区容忍度
    • 不能同时获得只能有两个
  • 共识算法

    • Paxos
    • Raft
    • Zab
  • 分布式协调服务

    • ZooKeeper

      • ZNode

        • 类型

          • Regular
          • Ephemeral
        • 命名规则

      • API

      • 读线性一致性

      • 多读少写

      • 分布式锁

      • 配置管理

    • etcd

  • 服务发现、服务注册、负载均衡

  • 拜占庭将军问题

「此文章为3月Day6学习笔记,内容来源于极客时间《Go分布式爬虫实战》,强烈推荐该课程!/推荐该课程」

以上是关于Go分布式爬虫学习的主要内容,如果未能解决你的问题,请参考以下文章

Python3爬虫学习分布式爬虫第一步--Redis分布式爬虫初体验

专业的“python爬虫工程师”需要学习哪些知识?

爬虫学习 17.基于scrapy-redis两种形式的分布式爬虫

Golang 概述

Python爬虫实践 —— 1.对反爬机制的认识

大数据培训到底是培训啥