私活之Python数据挖掘建模平台

Posted 2022-12-03 大数据指北

大家好，我是脚丫先生 (o^^o)

生活不完全是工作，但是工作却填满了生活。

最近一段时间实时流模块的研发，也的确填满了日常。

虽然很累，但是能掌握Flink的知识点又是格外的兴奋。

知识的海洋是无边无际的，软件研发的工作是枯燥无味的，而我拥有充足的自学动力。

如果没有兴趣，那么将是多么痛苦的领悟。

今天想和大家分享之前做的一个私活案例，虽然已破产，但是经验是值得复盘总结的。

不过，这次我负责全局，沟通和后端研发。

项目成员

• springboot、python数据挖掘算法 技术栈
• 前端技术栈 Vue.js
• 开发周期2个月
• 开发人数 2 人
• 整体费用是 4w

技术选型

核心框架：springboot

技术角度而言，是一个完整的Python数据挖掘平台。
以微服务为基础，python的SKlearn机器学习工具包为核心，研发一套数据挖掘建模平台。

项目背景及需求

随着互联网技术的飞速发展，万物互联成为未来发展的必然趋势，人类正从计算机时代走向数据技术时代。

各个院校争先恐后的开展了Python数据挖掘课程，为了更好的进行线上教学。

让学生能够完整流程的体验机器学习的神奇。

需要研发Python数据挖掘建模平台，提供一个可进行拖拽方式建模和notebook建模。

客户对于建模平台的需求是：

完成需求表格里的主要功能，初版只提供演示能力即可。

之前在公司已经研发过大数据的数据科学平台，算是有建模思路。

不过真正自己完全去研发整个平台的时候，又是显得那么无力。

难点：

1、整个平台以java为基础，但是不仅仅如此，需要掌握python语言。

2、需要掌握常用的python机器学习算法。

3、时间不是很充足，只有业余时间进行研发。

钱不是这么好拿的，报价是真的低了

Python数据挖掘建模平台思路文档

好吧，说干就干。

我负责整个后端以及Python算法建模。

在分析了客户提供的整个需求文档，进行详细的交流之后，梳理了一个设计流程文档。

当时，梳理完这个流程文档后，感觉整个人都不好了。

数据源管理->数据集成->项目管理(拖拽和notebook)->系统算法组件管理

难受！！！

Python数据挖掘建模平台模块

在参考泰迪数据挖掘建模基础上，本项目采用springboot框架作为建模平台研发的基础，总体分为四个大模块。

工作台

对项目的简单统计，比如：专题项目里的建模任务的统计。

数据源管理

异构数据源连接，进行数据的集成到挖掘平台仓库。

项目管理

首先是一个新建的工程项目->接着进入建模中心管理

两种建模方式：可视化拖拽建模+nodebook建模

1、Nodebook建模

2、可视化拖拽建模

系统组件管理

进行建模算法组件的管理，可以自行设计算法组件模板

总结

虽然，此次项目由于某些原因没有完结。

但是整个Python数据挖掘建模流程思路，研发过程都已经了然于心。

可以作为：自研大数据平台的数据科学模块

好了，今天就聊到这里，祝各位终有所成，收获满满！

我是脚丫先生，我们下期见~

更多精彩内容请关注 微信公众号 👇「脚丫先生」🔥：


一枚热衷于分享大数据基础原理，技术实战，架构设计与原型实现之外，还喜欢输出一些个人私活案例。


更多精彩福利干货，期待您的关注 ~