大数据学习笔记60：构建Spark机器学习系统

Posted 2022-04-28 howard2005

文章目录

• 一、机器学习系统架构
• 二、启动Spark集群
• • （一）Spark运行模式
  • （二）Spark Shell交互式环境
  • • 1、Spark Shell概述
    • 2、SparkContext、驱动程序与集群管理器的关系
    • 3、SparkSession
  • （三）启动Spark Shell
  • • 1、启动HDFS
    • 2、启动Spark器群
    • 3、启动Spark Shell
• 三、加载数据
• • （一）下载数据到本地
  • （二）上传文件到虚拟机
  • （三）上传文件到HDFS
  • （四）读取文件转成数据帧