全平台技术架构：后台+人工智能+大数据

Posted 2021-11-22 天然玩家

1 设计

全平台技术架构共有三个模块，即：后台、人工智能和大数据。
后台：业务层（业务中台），如OA、ERP等；
人工智能：智能服务层，如推荐系统、人脸识别等；
大数据：基础数据层（数仓、数据中台）。
中台：是啥？待详细追踪溯源。

1.1 服务层

服务层技术：使用Spring技术架构，包括SpringFramework、SpringCloud和SpringBoot。

1.2 业务数据存储层

业务数据读写采用mysql和Redis。

1.3 消息队列层

消息缓冲层使用RabbitMQ。

1.4 日志采集监控层

日志采集和监控使用：Filebeat、Logstash、Elasticsearch、Kibana和Kafka。

1.5 机器学习层

机器学习使用多平台，包括：Tensorflow1.x和Tensorflow2.x、MXNet、Pytorch和Caffe2等。

1.6 实时计算层

实时计算使用：Spark和Flink。

1.7 调度层

任务调度使用Azkaban和Ooize。

1.8 数据采集与传输层

数据传输和采集使用：Sqoop和Flume。