spark之通过sparksql中的SQL语句实现电影点评系统用户行为分析

Posted 2020-12-13 夏日的向日葵

用户文件users.dat的格式描述如下：

1. userid::gender::age::occupation::zip-code
2. 用户id、性别、年龄、职业、邮政编码

评级文件ratings.dat的格式描述如下：

1. userid::movieid::rating::timestamp
2. 用户id、电影id、评分数据、时间戳

电影文件movies.dat的格式描述如下：

1. movieid::title::genres
2. 电影id、电影名、电影类型

1、首先使用RDD方式读取数据

1、val usersRDD = sc.textfile(dataPath+"users.dat")
2、val moviesRDD = sc.textfile(dataPath+"movies.dat")
3、val occupationsRDD = sc.textfile(dataPath+"occupations.dat")
4、val ratingsRDD = sc.textfile(dataPath+"ratings.dat")