大数据应用技术课程实践--选题与实践方案

Posted 2020-12-12 Take over everything

一、选题与意义

1.Hadoop平台应用

2.Kaggle分析数据项目

简要说明理由与意义。

 

选择1.淘宝双11数据分析与预测

理由：之前接触过hadoop，所以打算重新把这个回忆起来。

意义：双十一的利益与我们密切相关，分析好了在双十一有可能可以更大折扣。

 

二、实践方案

简要说明理由。

 利用虚拟机构建linux系统，搭建环境，预测回头客。

理由：

三、实践任务分解

根据所选的题目，明确实验步骤，分解任务到每天。

 

 

步骤	内容
1	安装Linux系统
2	安装Hadoop
3	安装mysql
4	安装Hive
5	安装Sqoop
6	安装Eclipse
7	安装ECharts
8	安装Spark
9	本地数据集上传到数据仓库Hive
10	Hive数据分析
11	将数据从Hive导入到MySQL
12	利用Spark预测回头客
13	利用ECharts进行数据可视化分析

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

四、实践计划

按任务分解撰写计划表，每天按计划表开展工作。

第天根据实际情况更新计划表，有必要时调整。