基于nginx搭建SocketIO集群

Posted 2021-04-11 码农沉思录

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了基于nginx搭建SocketIO集群相关的知识，希望对你有一定的参考价值。

在这篇文章中，我们介绍了SocketIO这款消息推送利器。今天我们来聊下怎么搭建一个生产可用的SocketIO集群。

由于单机资源的限制，一台机器能够支撑的tcp连接是有瓶颈的，而且也存在单点故障的弊端，所以在生产环境上使用SocketIO时，通常来讲，都是基于集群模式的。

将服务器进行水平扩展，最简单的做法就是使用负载均衡技术如nginx来实现。本文正是基于nginx教你如何一步步地搭建SocketIO集群。

搭建SocketIO服务器节点

我们首先在本地搭建2台服务器节点，服务器代码如下：

节点1：

public class Server1 {
 public static void main(String[] args){ Configuration config = new Configuration(); config.setPort(1337); final SocketConfig socketConfig = new SocketConfig(); socketConfig.setReuseAddress(true); config.setSocketConfig(socketConfig); Socketioserver server = new SocketIOServer(config); server.addConnectListener(new ConnectListener() { @Override public void onConnect(SocketIOClient socketIOClient) { System.out.println(socketIOClient.getSessionId()+" has connected."); } }); server.start(); }}

节点2：

public class Server2 {
 public static void main(String[] args){ Configuration config = new Configuration(); config.setPort(1338); final SocketConfig socketConfig = new SocketConfig(); socketConfig.setReuseAddress(true); config.setSocketConfig(socketConfig); SocketIOServer server = new SocketIOServer(config); server.addConnectListener(new ConnectListener() { @Override public void onConnect(SocketIOClient socketIOClient) { System.out.println(socketIOClient.getSessionId()+" has connected."); } }); server.start(); }}

2个节点除了监听端口不一样之外，其他代码和逻辑都是一模一样的。

配置nginx负载均衡

以下是nginx的配置，可以看到，在upstream块中配置了2台SocketIO服务器节点的主机和端口。然后在location块中使用proxy_pass指令进行转发。这样就实现了最简单的负载均衡配置。


worker_processes  1;events { worker_connections 1024;}
http { include mime.types; default_type application/octet-stream;
 sendfile on; keepalive_timeout 65;
 server { listen 80;        server_name  localhost;
 location / { proxy_pass http://nodes; }
 }
 upstream nodes {
 server localhost:1337; server localhost:1338; }
}

启动服务并测试

接下来分别启动2台SocketIO服务器和nginx服务器。

再写一个客户端，测试下通过nginx转发后，客户端能不能与后端的SocketIO服务器正常建立连接。

客户端代码如下：

public class Client {
 public static void main(String[] args) throws Exception{ final Socket socket = IO.socket("http://localhost:80"); socket.on(Socket.EVENT_CONNECT, new Emitter.Listener() {
 @Override public void call(Object... args) { System.out.println("I have connected to server."); }
 }); socket.connect(); }}

我们运行下客户端看看效果：

可以看到，客户端并没有打印任何日志，说明连接并没有建立成功。

再看下SocketIO服务器1的控制台输出：

基于nginx搭建SocketIO集群

可以看到，SocketIO服务器1已经接收到连接请求了，但是客户端并没有接收到相应的回调。

再来看下SocketIO服务器2的情况：

基于nginx搭建SocketIO集群

可以看到一个奇怪的现象，那就是SocketIO服务器2不断地打印有新连接建立的日志，而且每个连接的id也都不一样。

实际上，这只是其中一部分截图，几乎每隔1秒钟，服务器2就会打印一条新连接建立的日志。这是为什么呢？

我们想要的只是让客户端与具体的某台SocketIO服务器建立连接，然后通过这条连接往客户端推送数据，但是从上述结果看来，似乎客户端会不断地尝试建立连接，但是最终也没能成功建立一条有效的连接，反而大大地浪费了服务器资源。

SocketIO官方的建议配置

接下来我们看下SocketIO官方是如何使用nginx来做水平扩展的。

打开官网，找到using-multiple-nodes这一节。

基于nginx搭建SocketIO集群

这一节开头就提到了，如果要使用多节点做水平扩展的话，需要保证一个客户端只跟具体的某台SocketIO服务器维持连接，否则的话，在WebSocket协议握手阶段，会因为握手失败而无法正常建立连接。

同时，官网还给出了nginx负载均衡的参考配置，我们将官方的配置搬过来试一下：

worker_processes 1;
events { worker_connections 1024;}

http { include mime.types; default_type application/octet-stream;
 sendfile on; keepalive_timeout 65;
 server { listen 80; server_name localhost;

 location / { proxy_pass http://nodes;  # enable WebSockets proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; }
 }
 upstream nodes {  # enable sticky session based on IP ip_hash;
 server localhost:1337; server localhost:1338; }
}