01 大数据概述

Posted 2023-01-04 长不大的大灰狼

01 大数据概述

1、大数据：
主要用来解决海量数据的存储和海量数据的分析计算问题。

2、大数据的特点：

• 大量（Volume）：一些大企业的数据量已经接近EB量级。
• 高速（Velocity）: 随着数据量的增大，处理数据的效率变得尤为重要。
• 多样（Variety）: 除了以数据库/文本为主的结构化数据，非结构化数据也越来越多，包括日志、音频、视频、图片、地理位置信息等。
• 低价值密度（Value）: 在大数据背景下，如何快速对有价值的数据进行提纯成为亟待解决的问题。

3、大数据应用场景：

• 零售：分析用户消费习惯，为用户购买商品提供方便，从而提升商品销量。
• 广告推荐： 给用户推送可能喜欢的商品。
• 金融：多维度体现用户特征，帮助金融机构推荐优质客户，防范欺诈风险。

4、大数据部门组织架构：
平台组：

• Hadoop、Flume、Kafka、HBase、Spark等框架平台搭建
• 集群性能监控
• 集群性能调优

数据仓库组：

• ETL工程师（数据清洗）
• 数据分析、数据仓库建模

实时组： 实时指标分析，性能调优

数据挖掘组：

• 算法工程师
• 推荐系统工程师
• 用户画像工程师

报表开发组：

• JavaEE工程师
• 前端工程师