网站用户行为分析——案例简介

Posted 2020-11-21 baojianxin

案例简介

　　网站用户行为分析本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、mysql、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法。

---

 案例目的

1. 熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用；
2. 了解大数据处理的基本流程；
3. 熟悉数据预处理方法；
4. 熟悉在不同类型数据库之间进行数据相互导入导出；
5. 熟悉使用R语言进行可视化分析；
6. 熟悉使用Elipse编写Java程序操作HBase数据库。

---

硬件要求

　　本案例可以在单机上完成，也可以在集群环境下完成。

　　单机上完成本案例实验时，建议计算机硬件配置为：500GB以上硬盘，8GB以上内存。

---

 软件工具　

　　本案例所涉及的系统及软件

1. Linux系统
2. MySQL
3. Hadoop
4. HBase
5. Hive
6. Sqoop
7. R
8. Eclipse

 

 

 

 

 

 

---

数据集

　　网站用户购物行为数据集2000万条记录。

---

案例任务

1. 安装Linux操作系统
2. 安装关系型数据库MySQL
3. 安装大数据处理框架Hadoop
4. 安装列族数据库HBase
5. 安装数据仓库Hive
6. 安装Sqoop
7. 安装R
8. 安装Eclipse
9. 对文本文件形式的原始数据集进行预处理
10. 把文本文件的数据集导入到数据仓库Hive中
11. 对数据仓库Hive中的数据进行查询分析
12. 使用Sqoop将数据从Hive导入MySQL
13. 使用Sqoop将数据从MySQL导入HBase
14. 使用HBase Java API把数据从本地导入到HBase中
15. 使用R对MySQL中的数据进行可视化分析