如何使用 Apache Pulsar 连接器将 json 文档存储在弹性搜索索引中?

Posted

技术标签:

【中文标题】如何使用 Apache Pulsar 连接器将 json 文档存储在弹性搜索索引中?【英文标题】:How store a json document in an elasticsearch index using the Apache Pulsar connector? 【发布时间】:2021-06-04 14:25:54 【问题描述】:

我想使用 Apache Pulsar 连接器在 Elasticsearch 中将 JSON 模式存储为 "name": "Jane", "age": 25, ...。我尝试使用这个https://pulsar.apache.org/docs/en/io-elasticsearch-sink/#configuration,但我只能存储结构为 string: number 的 JSON。 有人可以帮助我吗?

【问题讨论】:

【参考方案1】:

您需要使用架构推送数据。

这与我对 SOLR 所做的类似。

https://github.com/tspannhw/FLIp-Solr

查看java代码。确保你有一个架构来让它正确着陆

https://vimeo.com/628573854

https://www.slideshare.net/bunkertor/real-time-cloud-native-open-source-streaming-of-any-data-to-apache-solr

应该可以的

【讨论】:

以上是关于如何使用 Apache Pulsar 连接器将 json 文档存储在弹性搜索索引中?的主要内容,如果未能解决你的问题,请参考以下文章

云原生时代顶流消息中间件Apache Pulsar部署实操之Pulsar IO与Pulsar SQL

06.Apache Pulsar的JAVA API相关使用操作,基于Pulsar实现Topic的构建操作,使用JAVA如何管理租户/namespace/Topic,基于Pulsar实现数据生产/消费

在STICORP使用Apache Pulsar构建数据驱动的应用程序

专访PMC,Apache Pulsar如何挑战Kafka?

如何基于Apache Pulsar和Spark进行批流一体的弹性数据处理?

Apache pulsar producer接口详解