Spark统计一座城市的男女人数，以及男女消费额的最高与最低

Posted 2022-01-17 我爱让机器学习

题目中没有给出数据，我的数据是自己使用随机数代码生成的：

 

数据生成代码如下：

 		Random r = new Random();
		FileWriter fw = new FileWriter("生成文件的路径以及名称");
		int x = r.nextInt(1100000)-100000;
		for(int y = 1;y <= x;y++) 
			int sex1 = r.nextInt(10);
			int cost = r.nextInt(10000);
			String sex;
			if (sex1%2 == 1)     //性别使用随机生成的数是奇数或是偶数来判断
				sex = "M";
			else
				sex = "F";
			
			fw.write(y + " "  + sex + " " + cost + "\\r\\n" );
			fw.flush();
			
		
		fw.close();

数据已经有了，接下来就可以统计这座城市一共有多少人，消费总额，人均消费了。

代码如下：
 

		SparkConf sparkconf = new SparkConf().
				setAppName(" ").setMaster("local");
		JavaSparkContext sc = new JavaSparkContext(sparkconf);
		JavaRDD<String> lines = sc.textFile("数据路径");
		JavaRDD<Integer> rdd1 = lines.map(f->
			return (Integer.valueOf(f.split(" ")[2]));
		); //只取出消费额这一列，并将其转化成整数类型
	        long counts = rdd1.count(); //统计城市有多少人
	        long avg = 0;
	        int sum = 0;

	        sum = rdd1.reduce((a, b) -> a + b); //求消费额总额
	        avg = sum/counts; // 人均消费=总消费额/人数
		//输出
		System.out.println("这座城市一共有：" + counts + "人");
		System.out.println("这座城市的消费总额为：" + sum + "元");
		System.out.println("这座城市的人均消费额为：" + avg + "元");

结果如下：

 

接下来分别对男性和女性求人数，及最高消费额。我们可以根据性别得到两个RDD，然后可以排序，求首尾的数据即可，也可以直接比大小得到。

我是通过比较大小得出的最高最低消费，没有使用排序的方式。

代码如下：

		SparkConf sparkconf = new SparkConf().
				setAppName(" ").setMaster("local");
		JavaSparkContext sc = new JavaSparkContext(sparkconf);
		JavaRDD<String> lines = sc.textFile("数据路径");
		JavaPairRDD<String, Integer> rdd1 = 
				lines.mapToPair(f->new Tuple2<>(f.split(" ")[1],Integer.valueOf(f.split(" ")[2])));
		JavaPairRDD<String, Integer>rddM1 = rdd1.filter(f->
			return (f._1().contains("M"));
		); //只保留含有M的数据
		JavaPairRDD<String, Integer>rddF1 = rdd1.filter(f->
			return (f._1().contains("F"));
		); //只保留含有F的数据
		
		JavaPairRDD<String, Integer> MAXM = rddM1.reduceByKey((x,y)->MAX(x,y));		//消费额比较大小保留大的，下面同理
		JavaPairRDD<String, Integer> MAXF = rddF1.reduceByKey((x,y)->MAX(x,y));
		JavaPairRDD<String, Integer> MINM = rddM1.reduceByKey((x,y)->MIN(x,y));
		JavaPairRDD<String, Integer> MINF = rddF1.reduceByKey((x,y)->MIN(x,y));
		MINF.foreach(x -> System.out.println("女性最低消费"+x._2));
		MINM.foreach(x -> System.out.println("男性最低消费"+x._2));
		MAXF.foreach(x -> System.out.println("女性最高消费"+x._2));
		MAXM.foreach(x -> System.out.println("男性最高消费"+x._2));
                long countsM = rddM1.count(); //统计人数
		long countsF = rddF1.count();
		System.out.println("男性人数为："+countsM + "\\n" + "女性人数为：" + countsF);

比较大小函数：

	public static int MAX(int x,int y) 
		if (x<y) 
			return y;
		else 
			return x;
		
	
	public static int MIN(int x,int y) 
		if (x<y) 
			return x;
		else 
			return y;
		
		

最终结果：

 

 

 

 

不足之处，欢迎指正。hhh