在51CTO的第一篇Blog

Posted 2023-01-15

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了在51CTO的第一篇Blog相关的知识，希望对你有一定的参考价值。

2022个人年终总结

在51CTO的第一篇Blog_技术栈

1、前言

2022年，终究是不平凡的一年。

2022年2月4日，中国农历大年初四，这一天，北京冬奥会将拉开大幕。

2022年3月份，疫情还未结束。

2022年7月21日，滴滴出现数据网络安全问题。

2022年12月份，自己成为了自己健康的最大负责人。

......

在51CTO的第一篇Blog_大数据_02

2、技术

定位大数据开发领域，这一年来，学习了大数据常见的组件或者框架，包括Kafka、HBase、Spark、Fink，同时也学习数据仓库有关的采集项目，离线数仓系统的搭建。

但是，对知识点的学习往往只是停留在表面，基本上属于浅尝辄止，对于技术栈「一学就会、一停就废」，技术栈没有及时去巩固、深入、实操，基本上都忘光了。

同时，对于数据库的学习，尤其是在NoSQL方面，学习较多，包括HBase、Redis、MongoDB、Neo4j的学习，对于HBase，应该是最熟悉的，基本上是对之前的知识点的巩固，Redis和MongoDB去年所有接触，总体上也是学习不深入，只熟悉基本的命令行操作以及基本的Java API操作，图形数据库Neo4j，个人觉得学习难度最大，当然，更多的是提不起兴趣。

最后，2022年也完成了Hadoop生态相关的大数据应用案例以及NoSQL的相关案例学习。

在51CTO的第一篇Blog_大数据_03

晒一下MR的最基本代码结构

2022年完成的二手房统计分析项目的「统计四大一线城市房价的最值」

Driver端

public class MaxMinTotalPriceByCityDriver 
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException 
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "MaxMinTotalPriceByCity");
        job.setJarByClass(MaxMinTotalPriceByCityDriver.class);
        job.setMapperClass(MaxMinTotalPriceByCityMapper.class);
        job.setReducerClass(MaxMinTotalPriceByCityReducer.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        FileInputFormat.setInputPaths(job, new Path("datas/tb_house.txt"));
        FileOutputFormat.setOutputPath(job, new Path("MapReduce/out/MaxMinTotalPriceByCity"));
        job.waitForCompletion(true);

Mapper端

public class MaxMinTotalPriceByCityMapper extends Mapper<Object, Text, Text, IntWritable> 
    private Text outk = new Text();
    private IntWritable outv = new IntWritable();
    @Override
    protected void map(Object key, Text value, Context out) throws IOException, InterruptedException 
        String line = value.toString();
        String[] data = line.split("\\t");
        outk.set(data[1]);      // city
        outv.set(Integer.parseInt(data[6]));        // total
        out.write(outk, outv);

Reducer端

public class MaxMinTotalPriceByCityMapper extends Mapper<Object, Text, Text, IntWritable> 
    private Text outk = new Text();
    private IntWritable outv = new IntWritable();
    @Override
    protected void map(Object key, Text value, Context out) throws IOException, InterruptedException 
        String line = value.toString();
        String[] data = line.split("\\t");
        outk.set(data[1]);      // city
        outv.set(Integer.parseInt(data[6]));        // total
        out.write(outk, outv);