大数据应用场景和大数据职业发展需要掌握的技术技能构成

Posted 2022-06-28 简简单单OnlineZuozuo

文章目录

• 大数据应用场景和大数据职业发展需要掌握的技术技能构成
• • • • 1、大数据的发展方向和应用场景
      • 2、大数据人才的学习和发展路线规划

大数据应用场景和大数据职业发展需要掌握的技术技能构成

---

1、大数据的发展方向和应用场景

---

主要的应用场景
1、推荐系统
    电商 + 跨平台广告推荐
    抖音等视频系统的内容推荐

2、行业大数据
    政务：新型冠状病毒传播监测
    教育：学生综合分析
    物流：智慧物流
    保险：风险预测
    金融：用户画像获取优质客户
    房产：精准投策营销

3、网络安全
    态势感知

4、科技
    5G、物联网、人工智能 （决策支持、路径规划等）

2、大数据人才的学习和发展路线规划

---

大数据主要解决海量数据的采集、存储、计算

1、Java
    1、数据库技术，mysql
    2、Maven
    3、Linux
    4、Shell 编程
    5、分布式
    6、HDFS
    7、Zookeeper

2、Hadoop 生态，高效计算
    1、Hive
    2、Flume
    3、Kafka
    4、Hbase
    5、Sqoop
    6、Kylin
    7、Azkaban
    8、DataX

3、Spark 生态，数据挖掘和机器学习
    1、Scale
    2、Spark
    3、SparkStream
    4、Github / Git
    5、Elasticsearch
    6、Kibana
    7、Logstash
    8、Redis

4、Flink 生态，实时计算
    1、Flink
    2、Event Time 与 Window
    3、有状态计算
    4、Hudi
    5、ClickHouse
    6、Apache Doris