业务解决方案/-数据结构与算法速成

Posted 2020-10-16 大树的Blog

  业务解决方案：

0. 数据源加载

1. 特征工程:   字符转数值/二值型/多值型 把字符型特征转化成算法可以处理的数值表示，实现特征抽象.特征是二值型的， 如sex 这个字段有male 和fem 两种，就把sex 抽象成0 和1。如果特征的数值是多值型， 如status，就按照严重程度从0 到1 再到2 来抽象.

2.数据预处理:数值转double/归一化到0 和1 之间 通过“类型转换组件”先把数据类型全部转化成 double 型（机器学习算法普遍对double 型数据的支持比较好），然后通过“归一化组件” 对数据进行去量纲处理，把全部数值都归一化到0 和1 之间

3.训练和评估：   拆分组件”，在组件中数据按照7 : 3 的比例随机拆分 70%的数据用来训练模型，30%的数据用来预测。

4。模型评估： 因为本次实验是一个二分类场景，已经通过“预测组件”拿到了预测 值和真实值的结果，但是我们需要更直观地验证实验是否准确，所以选择了“二分类评估 组件”对结果进行评估。

新闻文本分析

1。数据预处理及分词，增加序号，分词

2。关键词提取 词频统计组件

3。文章分类。“三元组转KV 组件”是文本向量化的常用算法，原理是把文本数据 转成K:V 格式展示，

 

突击-数据结构与算法速成

    第一课：从基本数据结构说起，栈，队列，链表的常规应用    

第二课：基本数据结构之————栈，队列，链表的奇淫技巧    

第三课：进阶数据结构之————堆，二叉树的常规应用    

第四课：进阶数据结构之————树的无奇不有的变形    

第五课：进阶数据结构之————散列表、搜索树    

第六课：必修算法之————排序    

第七课：必修算法之————分治    

第八课：必修算法之————贪心    

第九课：必修算法之————搜索    

第十课：图算法之————拓扑排序、最小生成树（Kruskal与Prim）    

第十一课：图算法之————单源最短路径（Dijstra、Bellmanford、SPFA）及其变式使用