QingStor™ 对象存储新增 Logstash Input/Output 插件

Posted 青云QingCloud

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了QingStor™ 对象存储新增 Logstash Input/Output 插件相关的知识,希望对你有一定的参考价值。

QingStor™ Logstash Input/Output 插件为首届 QingStor™ Satellites 活动中成功孵化出的项目,在 QingStor™ Satellites 活动中,QingStor™ 团队会选择一些有意义的开源项目为课题,并作为导师指导高校学生逐步完成项目。


QingStor™ Logstash Input/Output 插件的开发者为 ( ),来自兰州大学信息科学与工程学院 DSLab 研究生一年级的同学 赵益民(下图即为赵益民同学近照)。

QingStor™ Logstash Input/Output 插件已经通过 QingStor™ 官方审核,并被收纳为 QingStor™ 官方的 Logstash 插件,后续将由 QingStor™ 官方与赵益民同学一起进行维护。


下文为简要使用文档。更多详细信息请参见 

 
和 


Logstash 简介


Logstash 是一款轻量级的日志搜集和处理工具,可以方便的把分散的、多样化的日志收集起来,并进行自定义的处理,然后传输到指定的目标,比如输出到 Elasticsearch 或者写入文件。

Logstash 整体可大致分为三部分,即数据输入(Input)、数据加工(Filter)、数据输出(Output),同时 Logstash 内置了多种输入输出插件,方便用户对接各种第三方服务。QingStor™ Logstash Input/Output 插件实现了对象存储服务和 Logstash 的对接,方便用户读取存储在对象存储的日志或者上传处理后的日志到对象存储。


安装

首先确保 Logstash 已正确安装,之后使用以下命令从 Ruby Gems 安装插件。


QingStor™ 对象存储新增 Logstash Input/Output 插件


QingStor™ 对象存储新增 Logstash Input/Output 插件


快速开始


使用插件之前请先在青云控制台申请 Access Key。

Input 和 Output 插件的基本配置项如下,查看更多可用选项可访问 GitHub 项目页面进行查阅。

QingStor™ 对象存储新增 Logstash Input/Output 插件


QingStor™ 对象存储新增 Logstash Input/Output 插件


设置完成之后启动 Logstash,即可从对象存储读取日志文件,然后按照固定大小或固定时间切分并归档,最后输出处理后的日志文件到对象存储。


QingStor™ 对象存储新增 Logstash Input/Output 插件


致谢


最后对 QingStor™ Logstash Input/Output 插件的作者 
 (赵益民同学  ) 表示感谢,同时我们也欢迎更多高校学生或第三方开发者参与到我们的开源项目中来。


QingStor™ 新增插件:


QingStor™ 为了方便各个平台的用户使用 QingStor™ 对象存储服务,现增加 Go、Ruby、Swift、Java、javascriptphp、Python、Scala 等多种语言的 SDK 及扩展插件,列表如下:




 

 

『充电时间』上海、杭州、重庆、成都,让你们久等了,实践课堂马上与你见面,快来现场吧!本次课程内容仍以技术实践为主,以用户场景为切入,主要围绕 QingCloud 的技术理念、功能特性和使用技巧展开,话题将涵盖如何高效构建原生云应用,云端容器部署,微服务架构,应用感知,自动化运维等业内热点话题。

报名请扫描下方二维码哦


- FIN -


以上是关于QingStor™ 对象存储新增 Logstash Input/Output 插件的主要内容,如果未能解决你的问题,请参考以下文章

QingStor 对象存储携手爱数 AnyBackup 护航海量数据安全

云原生需要什么样的存储,QingStor这么说

云原生存储 QingStor 进入 CNCF 全景图

云原生存储 QingStor 进入 CNCF 全景图

云原生存储 QingStor 进入 CNCF 全景图

全闪分布式存储深入企业核心业务,QingStor NeonSAN强势增长