模块B：离线数据处理

Posted 2022-04-05 howard2005

文章目录

• 准备工作
• • （一）启动HDFS和YARN
  • （二）启动Spark集群
  • （三）启动hive元数据服务
  • （四）查看MySQL与Hive数据库
• 任务一、数据抽取
• • （一）全量抽取MySQL表数据到Hive表
  • • 1、任务要求
    • 2、完成任务
    • • （1）在ubuntu上创建Scala项目
      • （2）将Spark库文件导入项目
      • （3）创建包与对象，实现功能
      • （4）运行程序，查看结果
  • （二）增量MySQL表数据到Hive表
  • • 1、任务要求

</