画像分析（6-4）某极产品分析

Posted 2020-09-09 非淡泊无以明志，非宁静无以致远 - 长安快马

一、产品服务

EDS

集群管理（创建、释放和监控）

数据导入：导入多源数据到HDFS，管理生成的hdfs文件，提供基于生成文件的sql查询分析能力

 

ADS

创建数据模块：

创建分析模块：封装算法逻辑成docker镜像

创建项目：组装数据模块、分析模块成工作流

创建任务：执行项目，监控项目，导出结果

   

二、模块划分：

模块分为 总览、数据平台、分析应用、模型示例和用户中心

功能介绍如下：
1、总览：

     为用户提供任务、模块及项目的数据总览。

     项目：一个数据分析流程

     模块：某种操作，某种算法，封装成一个docker镜像，如：数据导出、数据分析

     任务：一个项目的执行、监控和结果查看、导出

     数据总览：数据管理和查看

2、数据平台：
     2.1、创建集群、监控集群

             集群创建和管理，可选择任意公有云服务类型部署EDS数据库服务。
     2.2、导入数据

             为用户提供EDS数据库操作平台，支持完整的ANSI SQL（SQL92/SQL99/SQL2003/OLAP Extension）查询语言，可进行轻量和高效的抽样数据分析功能，同时，适用于编写算法模块前期的探索工作。

             

     2.3、表管理

             管理数据源的表。

 

     2.4、HDFS文件管理

             

  

     2.5、数据查询

             

 

 3、分析应用：

     为用户提供全量数据的自助分析平台，用于导入或创建模块及项目工作流。

     

三、开发过程：

     3.1、数据模块：创建数据源模块

     3.2、分析模块：创建分析模块（dockerfile，main.py,requirements.txt、spec.json）

     

 

 

      3.3、创建项目：组装模块，参数匹配，创建项目。

      

       3.4、创建任务

      

      3.5、查看任务执行结果/状态

      

       3.6、任务执行结果

      

 4、模型示例：

     为用户展示了机器学习相关算法模型，

     帮助用户熟悉机器学习建模流程，（步骤的输入输出、算法参数指标，算法说明）

     同时支持用户在该平台根据需求新建机器学习模型。

     

 

5、用户中心：

     为用户提供基本设置及相关权限操作。