数据采集之采集引擎学习路线
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据采集之采集引擎学习路线相关的知识，希望对你有一定的参考价值。
什么是插件式监控平台
插件式监控平台是监控宝提供的一种监控数据采集的开放式服务平台， 能够以开放源代码的嵌入方式实现用户内网监控数据的稳定收集和传输， 给用户提供更灵活更稳定的插件式服务监控。
为什么使用插件式监控平台
插件式监控平台支持对内网的服务器及服务进行监控，插件通过内部网络获取监控数据， 多个插件的数据汇总给采集器，采集器将这些数据提交到监控宝的中心服务器， 这样只需要采集器所在的服务器与外网连通即可实现对局域网内的服务进行监控， 解决了通过外部网络无法获取内网数据的问题。 插件式监控平台支持更稳定的数据传输，减少网络不稳定带来的问题。
例如：监控宝产品中原有的服务器监控数据采集利用的是SNMP协议，在SNMP中 用得最多的协议是UDP，由于UDP的不稳定造成服务器监控经常出现获取不到数据的情况， 利用插件平台所提供的SNMP插件能够很好的解决这一问题。
插件式监控平台提供了一种可以扩展的开发机制，所有插件都是即插即用的， 监控宝官方会持续开发新的监控插件，用户可以根据自己特定的需求开发针新的监控插件， 不论是官方提供的还是自行开发的插件，采集器都能够加载并驱动。插件式监控平台支持分布式的部署， 采集器不是唯一的，用户可以根据自己的网络条件和应用部署情况创建并部署多个采集器， 这些采集器之间是互不干扰的，各自管理各自的插件实例，最终的数据都会发送到监控宝的中心服务器。
插件式监控平台的构成与工作原理
整个平台是一种可扩展的数据采集及传输环境，主要包括三个部分组成： 数据采集器（Agent） 数据采集插件（Plugin） 数据接收处理服务。
数据采集插件是一种可插入式的专门采集某种数据的小应用。 比如针对MongoDB、Apache、Memecache等应用，利用SNMP、HTTP等协议获取数据； 数据采集器（Agent）则会根据用户的需求调度相应的Plugin来采集相应的数据， 然后负责将这些数据包装并采用HTTP协议发送给数据处理服务， 数据采集插件和数据采集器都是运行在用户本地的环境中。 数据接收处理服务能够接受部署在不同用户环境中的数据采集器发送过来的数据， 并保存到数据库中。目前Agent和Plugin都是采用Python编写的。 Agent的用户设置及配置参数传输都经过了加密，以保证数据安全性。
http://wiki.jiankongbao.com/doku.php/文档: 插件式监控平台
创建采集器及添加插件任务
http://blog.jiankongbao.com/?p=1285
本文出自 “运维自动化” 博客，请务必保留此出处http://shower.blog.51cto.com/4926872/1984147
以上是关于数据采集之采集引擎学习路线的主要内容，如果未能解决你的问题，请参考以下文章