自己的简单数据分析流程
Posted acg88688
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了自己的简单数据分析流程相关的知识，希望对你有一定的参考价值。
1.八爪鱼，抓取数据
2.八爪鱼数据导入mysql（navicat连的虚拟机上的），表为an
3.给定mysql的表an自增id
4.开启hadoop，yarn，
5.利用sqoop导入mysql的表an
sqoop import --connect jdbc:mysql://192.168.218.134:3306/spark
--username root --password 111 --query "select *from an where id>‘0‘
and $CONDITIONS" --target-dir /user/root-sqoop2 --direct --m 1
6.查询是否导入成功
hdfs dfs -cat /user/root-sqoop2/part-m-00000
7.
以上是关于自己的简单数据分析流程的主要内容，如果未能解决你的问题，请参考以下文章