Hadoop项目案例：电影网站用户性别预测
Posted Weikun Xing
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop项目案例：电影网站用户性别预测相关的知识，希望对你有一定的参考价值。
文章目录
源代码
数据预处理
获取数据
hdfs dfs -mkdir /movie
hdfs dfs -put /opt/users.dat /movie
hdfs dfs -put /opt/ratings.dat /movie
数据变换
hadoop jar /opt/ratings_users.jar demo.RatingsAndUsers /movie/users.dat /movie/ratings.dat /movie/ratings_users
hdfs dfs -put /opt/movies.dat /movie
hadoop jar /opt/users_movies.jar demo01.UsersAndMovies /movie/movies.dat /movie/ratings_users/part-m-00000 /movie/users_movies
对每个用户看过的电影类型进行统计。
数据清洗
处理缺失值、异常值
划分数据集
训练数据集
测试数据集
验证数据集
实现用户性别分类
0[M]男
1[F]女
第一列是对测试数据的预测类别，第三列是测试数据的正确类别。
寻找最优k值
以上是关于Hadoop项目案例：电影网站用户性别预测的主要内容，如果未能解决你的问题，请参考以下文章