2020春季学期第三周学习总结

Posted 2021-03-06 lover995

       本此博客对自己第三周主学习进行一些总结，本周主要学习了关于python以及大型数据的一些操作，学习的主要内容基本是关于数据的获取以及对数据进行一些分析。前面的博客已经介绍过对DataX的使用了，本次介绍一下另一种数据分析工具Kettle的使用，以下是自己的实际操作例子：

一、安装

链接: https://pan.baidu.com/s/1fabX8HCiYcHcGZXq-myDKA

提取码: wsxd

安装教程网上搜索即可

安装好后，打开安装的文件，找到spoon这个文件，双击进入kettle的欢迎界面，然后就可以进行操作了

 

 

 

1、先建一个作业

 

 2、在核心对象这边选择自己要用到的工具。

 简单的操作就不一一介绍了，推荐学习链接：http://113.31.104.47/portal/#/course/preview/b34d160db64624732ef152a1118af11a?courseId=1b7e84f4eb8552536e2267093dbd7972&fileId=2020021813_ef5f0bf841d95717a64dfaad4b2af879_lv0.mp4

 下面是我用kettle将三个文本文档的数据读入到一个mysql的数据表中

jjj转换

 

 hb转换

 

 tj转换

 

 地点转换

 

 去重：

 

 时间转换：

 

 结果截图：