使用logstash同步MongoDB数据到es
Posted zjdeblog
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用logstash同步MongoDB数据到es相关的知识,希望对你有一定的参考价值。
input mongodb codec => "json" uri => ‘mongodb://127.0.0.1:27017/kuaibao‘ placeholder_db_dir => ‘/usr/local/etc/logstash-5.6.0/dbdir‘ placeholder_db_name =>‘user.db‘ collection => ‘user‘ generateId => ‘true‘ parse_method => "simple" filter mutateremove_field => ["_id"] output elasticsearch hosts => ["http://127.0.0.1:9200"] index => "ordertrance" manage_template=>true document_type=>"user" stdout codec => json_lines
配置如上图,遇到一个坑,卡了我两天,我去。。。。
刚开始我的placeholder_db_dir是配置成了/usr/local/etc/logstash-5.6.0,也就是logstash的根目录,谁成想配置成这样居然不好使,各种百度各种谷歌,明明跟人家的配置都是一样的,我的就是同步不就去es。差点去世,最后鬼使神差的试着修改了一下placeholder_db_dir,居然可以了,吐血。。。
以上是关于使用logstash同步MongoDB数据到es的主要内容,如果未能解决你的问题,请参考以下文章
使用logstash同步mysql数据库信息到ElasticSearch
《果然新鲜》电商项目(46)- MQ与Logstash实现数据库同步到ES的区别
logstash使用template提前设置好maping同步mysql数据到Elasticsearch5.5.2
《果然新鲜》电商项目(44)- 利用Logstash自动同步数据库内容到ES