十年项目经验面试官亲传大数据面试__大数据面试独孤九剑

Posted 2021-09-04 大数据Manor

文章目录

• • 引言
  • 第一剑「总决式」功能概述（三句话左右概况，简明扼要）
  • 第二剑「破剑式」项目周期（开发时长和人员配置）
  • • 开发时长：
    • 人员配置
  • 第三剑「破刀式」技术架构（技术选项及框架版本）
  • 第四剑「破枪式」集群规模（业务数据量及服务器配置和数量）
  • • 如何确认集群规模？（假设：每台服务器8T磁盘，128G内存）
    • 服务器使用物理机还是云主机？
  • 第五剑「破鞭式」数据来源及数据采集
  • 第六剑「破索式」数据ETL（可能离线、可能实时）
  • 第七剑「破掌式」业务报表分析（离线报表、实时报表）
  • 第八剑「破箭式」数据分析引擎（Hive、Impala、Es、Spark、Flink等）
  • 第九剑「破气式」项目问题（数据倾斜、OOM或性能优化等）