烧瓶-SocketIO + uWSGI。与 Mule 工人一起发射

Posted 2023-02-18

技术标签:

【中文标题】烧瓶-SocketIO + uWSGI。与 Mule 工人一起发射【英文标题】：Flask-SocketIO + uWSGI. Emit with Mule worker 【发布时间】：2018-05-22 19:53:58 【问题描述】：

最近我正在我的 Flask 应用中实现 WebSocket 支持。

设置如下： 1.Python 2.7 2. Flask + Flask-SocketIo 3. SocketIO（客户端） 4. nginx 作为代理 5. uWSGI 2.0.13 + 它是带有 Gevent 的 WebSocket (Monkey-patched)

我已经设法启用套接字连接，但我在 UWSGI Worker 之间的同步发射方面遇到了困难，尤其是单骡。

我有专门的 UWSGI mule 来监控一些东西并每 30 秒报告一次状态，并将其广播给连接的客户端。如果我允许我的任务在任何可用的工作人员（不仅是专用的骡子）上运行，则仅通过完全相同的进程到达以前服务器的客户端，例如：客户端请求由具有 (400 PID) 的 Worker #6 提供服务并建立了 Socket 连接。后来一个 mule 任务由同一个 Worker 提供服务，因此客户端收到了 Emit）如果任何其他 Worker 处理了该任务，则客户端不会缓存 Emit。

使用单工模式一切正常，但这显然不是可接受的解决方案。

以下是一些技术细节： uwsgi.ini

[uwsgi]
#application's base folder
base = /home/ubuntu/application_test

#python module to import
app = manage
module = %(app)

home = %(base)/venv
virtualenv = %(base)/venv
pythonpath = %(base)

#socket file's location
socket = %(base)/application_test.sock

#permissions for the socket file
chmod-socket = 666

#the variable that holds a flask application inside the module imported at 
line #6
callable = app

#location of log files
logto = /var/log/uwsgi/%n.log

processes = 10

#WebSocket
http-websockets = true

gevent = 1000
enable-threads = true
die-on-therm = true

vacuum = true

mule=%(base)/application_test/uwsgi_mules/metrics_mule.py

烧瓶应用

(...)
from flask_socketio import SocketIO
app = Flask(__name__)
socketio = SocketIO(app,message_queue='redis://')
(...)

工人发射代码

socket = SocketIO(message_queue='redis://')

def broad_cast_server_info(state, health):
    socket.emit('sys_state', health)
    socket.emit('system_snapshot', state)

客户端

        socket.on('sys_state', function(data)
            (...)
            
        );

如果我使用带有确认响应的客户端 socket.emit，一切正常。

当我在 mule 中简单地导入 socketio 并在其上调用 emit 时，我遇到了上述问题。但是，如果我遵循： https://flask-socketio.readthedocs.io/en/latest/#emitting-from-an-external-process

每次 mule 运行它的工作时，我都会收到一个 redis 错误。

文件“/home/ubuntu/application_test/venv/local/lib/python2.7/site-packages/flask_socketio/init.py”，第 365 行，在发出 skip_sid=skip_sid，回调=回调，**kwargs）文件“/home/ubuntu/application_test/venv/local/lib/python2.7/site-packages/socketio/server.py”，第 228 行，在发出 **kwargs）文件“/home/ubuntu/application_test/venv/local/lib/python2.7/site-packages/socketio/pubsub_manager.py”，第 66 行，在发出 “skip_sid”：skip_sid，“回调”：回调） _publish 中的文件“/home/ubuntu/application_test/venv/local/lib/python2.7/site-packages/socketio/redis_manager.py”，第 62 行 return self.redis.publish(self.channel, pickle.dumps(data)) 发布中的文件“/home/ubuntu/application_test/venv/local/lib/python2.7/site-packages/redis/client.py”，第 2034 行 return self.execute_command('PUBLISH', channel, message) 文件“/home/ubuntu/application_test/venv/local/lib/python2.7/site-packages/redis/client.py”，第 673 行，在 execute_command connection.send_command(*args) 文件“/home/ubuntu/application_test/venv/local/lib/python2.7/site-packages/redis/connection.py”，第 610 行，在 send_command self.send_packed_command(self.pack_command(*args)) 文件“/home/ubuntu/application_test/venv/local/lib/python2.7/site-packages/redis/connection.py”，第 585 行，在 send_packed_command self.connect() 文件“/home/ubuntu/application_test/venv/local/lib/python2.7/site-packages/redis/connection.py”，第 489 行，在连接中引发 ConnectionError(self._error_message(e)) redis.exceptions.ConnectionError：连接到 redispass 时出现错误 -2：6379。名称或服务未知。

PIP 冻结：

alabaster==0.7.9
amqp==2.1.1
aniso8601==1.2.0
appdirs==1.4.3
astroid==1.4.8
Babel==2.3.4
beautifulsoup4==4.5.1
certifi==2017.11.5
chardet==3.0.4
click==6.7
decorator==4.0.11
defusedxml==0.5.0
dict2xml==1.5
dicttoxml==1.7.4
docopt==0.6.2
enum-compat==0.0.2
enum34==1.1.6
eventlet==0.21.0
Flask==0.12
Flask-Login==0.4.0
Flask-RESTful==0.3.5
flask-restful-swagger-2==0.33
Flask-Script==2.0.5
Flask-SocketIO==2.9.2
flask-swagger-ui==0.0.3
Flask-WTF==0.14.2
gevent==1.2.2
greenlet==0.4.12
html5lib==1.0b8
hurry.filesize==0.9
hypchat==0.21
idna==2.6
infinity==1.4
intervals==0.8.0
itsdangerous==0.24
Jinja2==2.9.5
jira==1.0.10
lazy-object-proxy==1.2.2
lxml==3.8.0
MarkupSafe==1.0
monotonic==1.4
oauthlib==2.0.2
olefile==0.44
ordereddict==1.1
packaging==16.8
pbr==3.0.1
pdfkit==0.6.1
Pillow==4.0.0
pql==0.4.3
psutil==5.4.1
py==1.4.34
pymongo==3.4.0
pyodbc==4.0.15
pyparsing==2.2.0
PyPDF2==1.26.0
pypyodbc==1.3.4
python-dateutil==2.6.0
python-engineio==2.0.1
python-memcached==1.58
python-socketio==1.8.3
pytz==2016.10
reportlab==3.4.0
requests==2.13.0
requests-oauthlib==0.8.0
requests-toolbelt==0.8.0
six==1.10.0
SQLAlchemy==1.1.6
SQLAlchemy-Utils==0.32.14
suds==0.4
urllib3==1.22
validators==0.11.3
vine==1.1.3
webencodings==0.5.1
Werkzeug==0.12
wrapt==1.10.10
WTForms==2.1
xmltodict==0.10.2
WTForms-Components==0.10.3

我对以下情况感到不满： - 猴子补丁 Gevent - early-monkey-patch Gevent via uwsgi（假设在 uWSGI 2.1 上工作） - 添加 Redis 队列

还有其他方法可以让 Flask-SocketIO 与 uWSGI 工作线程同步吗？

【问题讨论】：

【参考方案1】：

好像是redis的问题你安装并启动它了吗？跑步 redis-cli -h localhost -p 6379 确保flask-socketIO可以连接到它

【讨论】：

Ofc。 Redis 已启动并运行，并可通过本机 redis-py 库完全访问。不知何故而不是连接到 redis://localhost:6379 socketio 尝试连接到 redispass:6379 将所有出现的 message_queue='redis://' 更改为 message_queue='redis://localhost: 6379'【参考方案2】：

@shalbafzadeh 给了我一个惊人的线索。答案如下：

uWSGI 多工作者模式中的 Flask-SocketIO 需要monkey-patchin 和文档中描述的一些消息队列机制，如 Redis。使 Redis 工作，解决了描述的问题。这里是 Redis 部分：

&TL;DN Redis 连接字符串无效。 Redis 不支持 url 中的特殊字符，甚至编码。

Flask-SocketIO 需要到 redis 的连接字符串（代码隐藏使用 redis.Redis.from_url() 方法）。我在发布问题时犯了明显的错误，跳过了我的 redis 受密码保护的事实，因此 url 实际上如下所示：