通过 Java/Spring Boot 连接到 Docker Elasticsearch 实例
Posted
技术标签:
【中文标题】通过 Java/Spring Boot 连接到 Docker Elasticsearch 实例【英文标题】:Connecting to Docker Elasticsearch instance through Java/Spring Boot 【发布时间】:2018-02-10 06:41:20 【问题描述】:我正在从 Docker 运行 Elasticsearch 实例。图片来自 jHipster docker hub repo:jhipster/jhipster-elasticsearch/ - 我正在使用图片 v1.3.2,因为我需要 Elasticsearch 2.4.0(与项目的 Spring Boot 版本一致)。
我正在使用 docker-compose
启动 ES 容器以及 Logstash 和 Kibana 映像。这是启动 ES 容器的设置:
jhipster-elasticsearch:
image: jhipster/jhipster-elasticsearch:v1.3.2
ports:
- 9400:9200
- 9500:9300
volumes:
- ./log-es-config/elasticsearch_custom.yml:/usr/share/elasticsearch/config/elasticsearch.yml
所以我将 9400 用于 REST,将 9500 用于传输通信。
这是elasticsearch_custom.yml
内的配置,挂载到 ES 配置:
cluster.name: "log-cluster"
node.name: "log-node"
http.host: 0.0.0.0
transport.host: 127.0.0.1
transport.tcp.port: 9500
transport.publish_port: 9500
当我启动容器时,这是我从http://localhost:9400/_nodes
得到的:
"cluster_name": "log-cluster",
"nodes":
"xLsGj2DyTdCF89I7sAToVw":
"name": "log-node",
"transport_address": "127.0.0.1:9500",
"host": "127.0.0.1",
"ip": "127.0.0.1",
"version": "2.4.0",
"build": "ce9f0c7",
"http_address": "172.18.0.5:9200",
"settings":
"cluster":
"name": "log-cluster"
,
... (I can put all response if needed)
JAVA API:
现在我正在尝试像这样连接到这个 ES 节点:
@Bean
public ElasticsearchOperations logsElasticsearchOperations() throws UnknownHostException
Settings settings = Settings.settingsBuilder()
.put("cluster.name", "log-cluster")
.put("node.name", "log-node")
.build();
Client client = TransportClient.builder()
.settings(settings)
.build()
.addTransportAddress(new InetSocketTransportAddress(new InetSocketAddress("127.0.0.1", 9500)));
ElasticsearchTemplate template = new ElasticsearchTemplate(client);
template.createIndex(ProcessLog.class);
log.debug("Elasticsearch for logs configured.");
return template;
我得到的错误是最著名的一个:
Caused by: org.elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available: [#transport#-1127.0.0.1127.0.0.1:9500]
我用谷歌搜索并尝试了不同的配置方法,也将client.transport.sniff
设置为false
,但这些方法都不起作用。现在我花了很多时间尝试配置这个,但我仍然缺少一些东西。
提前感谢您的帮助。
更新:
当我启动应用程序时,还有嵌入式 ES 实例正在运行。所以主机端口配置是这样的:
嵌入式 ES:9200 (http)、9300 (tcp) Docker 的 ES:9400 (http), 9500 (tcp)这里是完整的docker-compose.yml
:
version: '2'
services:
jhipster-elasticsearch:
# elasticsearch 2.4.0 - to be in line with spring boot version
image: jhipster/jhipster-elasticsearch:v1.3.2
ports:
- 9400:9200
- 9500:9300
volumes:
- ./log-es-config/elasticsearch_custom.yml:/usr/share/elasticsearch/config/elasticsearch.yml
jhipster-logstash:
image: jhipster/jhipster-logstash:v2.2.1
command: logstash -f /conf/logstash_custom.conf
ports:
- 5000:5000/udp
- 6000:6000/tcp
volumes:
- ./logstash-log-es-conf/:/conf
jhipster-console:
image: jhipster/jhipster-console:v2.0.1
ports:
- 5601:5601
jhipster-zipkin:
image: jhipster/jhipster-zipkin:v2.0.1
ports:
- 9411:9411
environment:
- ES_HOSTS=http://jhipster-elasticsearch:9400
- ZIPKIN_UI_LOGS_URL=http://localhost:5601/app/kibana#/dashboard/logs-dashboard?_g=(refreshInterval:(display:Off,pause:!f,value:0),time:(from:now-1h,mode:quick,to:now))&_a=(filters:!(),options:(darkTheme:!f),panels:!((col:1,id:logs-levels,panelIndex:2,row:1,size_x:6,size_y:3,type:visualization),(col:7,columns:!(stack_trace),id:Stacktraces,panelIndex:7,row:1,size_x:4,size_y:3,sort:!('@timestamp',desc),type:search),(col:11,id:Log-forwarding-instructions,panelIndex:8,row:1,size_x:2,size_y:3,type:visualization),(col:1,columns:!(app_name,level,message),id:All-logs,panelIndex:9,row:4,size_x:12,size_y:7,sort:!('@timestamp',asc),type:search)),query:(query_string:(analyze_wildcard:!t,query:'traceId')),title:logs-dashboard,uiState:())
【问题讨论】:
【参考方案1】:我通过在elasticsearch_custom.yml
中将transport.host
定义为0.0.0.0
来实现此功能,因此实例绑定到容器的IP。
也许这也应该是项目 github repo 上 elasticsearch.yml
的默认设置。
【讨论】:
这正是我错过的重点。transport.host: 0.0.0.
完成了这项工作【参考方案2】:
我建议您退后一步安装 Head Plugin(https://github.com/mobz/elasticsearch-head),这样您就可以查看您的集群,它会显示集群名称的详细信息。
也可以尝试从命令行发送一个简单的索引请求,以确保您可以连接到您的集群。
【讨论】:
【参考方案3】:从您的 docker compose 文件中,主机上的端口 9500 映射到容器内的端口 9300,即:
ports:
- 9500:9300
因此,由于端口 9500 是 Docker 容器外部的 TCP 端口,因此在您的 elasticsearch_custom.yml
配置文件中您应该使用它
transport.tcp.port: 9300
transport.publish_port: 9300
或者干脆把这两行去掉,因为 9300 是默认的 TCP 端口。
【讨论】:
感谢您的回复,我刚刚尝试过,但仍然存在相同的错误。 您介意分享完整的docker-compose.yml
文件,以便我们能够真正了解上下文吗?以上是关于通过 Java/Spring Boot 连接到 Docker Elasticsearch 实例的主要内容,如果未能解决你的问题,请参考以下文章
可怕的 Java Spring Boot 应用程序未使用 Docker-compose java.net.ConnectException 连接到 MySQL:连接被拒绝
通过 Spring Boot 应用程序连接到 Docker Compose MongoDb
Redis 拒绝通过 Docker Compose 连接到 Spring Boot
无法从 Spring Boot 应用程序连接到 Bigtable