机器学习模型高性能高并发部署实践探索
Posted shiter
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习模型高性能高并发部署实践探索相关的知识，希望对你有一定的参考价值。
文章大纲
高并发服务简介
高并发意味着大流量，需要运用技术手段抵抗流量的冲击，这些手段好比操作流量，能让流量更平稳地被系统所处理，带给用户更好的体验。常见的高并发场景有：淘宝双11、春运抢票、微博大V的热点新闻等。除了这些典型事情，每秒几十万请求的秒杀系统、每天千万级的订单系统、每天亿级日活的信息流系统等，都可以归为高并发。该情况的发生会导致系统在这段时间内执行大量操作，例如对资源的请求，数据库的操作等。如果高并发处理不好，不仅仅降低了用户的体验度（请求响应时间过长），同时可能导致系统宕机，严重的甚至导致OOM异常，系统停止工作等。
从宏观角度看，高并发系统设计的目标有三个：
- 高性能
- 高可用
- 高可扩展
以上是关于机器学习模型高性能高并发部署实践探索的主要内容，如果未能解决你的问题，请参考以下文章
使用 python web 框架 进行高并发模型上线部署 的架构 思路探索