10期末大作业

Posted 2021-06-07 201806120

1. 09 第九次作业
2. 没写原因 忘记提交
安装启动检查mysql服务。netstat -tunlp (3306)
1. 
spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars
1. 
3. 启动 Mysql shell，新建数据库spark，表student。
   select * from student;
   1. 
4. spark读取MySQL数据库中的数据
   spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/spark?useSSL=false") ...  .load()
   1. 
5. spark向MySQL数据库写入数据
   studentDF.write.format(‘jdbc’).option(…).mode(‘append’).save() 
   1. 
   2. 

 

 

 

 

 

 

1.选择使用什么数据，有哪些字段，多大数据量。

数据：20年淘宝618某一时段交易量

字段：店家、交易人数、退单人数、下单人数 具体字段后续添加

数据量：215条

2.准备分析哪些问题，可视化方式？（8个以上）

（1）、某一时段淘宝最高交易量店家 饼图

（2）、某一个店家、在某一时段购买相同物品人数情况， 柱状图

（3）、相同物品 不同店家购买人数情况，柱状图

（4）、生活常用平，饼图

（5）、日新增人数前五的国家，漏斗图

（6）、在具体时段物品购买量，涟漪散点图

（7）、最受欢迎的商品

（8）、购买人数前八个的国家， 象型图

3.当前进展。

数据已有