高校大数据实训室解决方案有么？急求

Posted 2023-05-16

急求一份解决方案，越详细越好

一.数据科学与大数据专业方向教学计划（参考）

核心专业课程教学计划
大数据技术基础Java语言 Linux操作系统与程序设计 计算机网络（复杂网络、SDN） 数据仓库与数据挖掘 JavaEE 实训和毕业设计
计算机组成原理 软件工程 信息安全 机器学习
Python语言（网络爬虫、数据分析） 云计算OpenStack R语言数据分析、展现于实例 Tableau数据可视化
大数据存储（Hbase、Hive、Sqoop） 大数据采集与清洗（Kafka、Flume、ET） Spark技术开发 大数据分析应用案例
（2）数据科学与大数据教学资源简介（部分）

数据挖掘与高级分析
R语言企业版
Spark语言开发与应用

数据挖掘概述
数据挖掘工作流程
深入了解数据挖掘平台
算法模型：分类算法
算法模型：回归算法
算法模型：购物篮分析算法
算法模型：聚类算法
算法模型：异常检测算法
批量部署数据挖掘结果 企业级R语言概述
使用企业级R语言进行开发
深入了解R语言开发环境
R语言图形化生产环境
企业级R语言透明度
企业级R语言嵌入式执行层——R语言接口
企业级R语言嵌入式执行层——SQL语言接口
使用企业级R语言执行预测分析
使用企业级R语言之间访问数据库 Spark简介
Spark开发与环境配置
RDD编程
键值对操作
Spark运行模式及原理
数据读取与保存
在集群上运行Spark
Spark调优与调试
Spark监控管理
Spark SQl
Spark Streaming
GraphX计算框架 参考技术A 对于大数据学习而言，最难的不是Python的一段代码实现、也不是算法原理的掌握，而是在具体业务场景中，将业务问题数据化，利用分析工具、大数据知识去找到解决方案。针对每一个实训项目，我们都将项目落地全过程进行深度剖析，还原项目落地全流程。将分析方法论、业务问题转化为数学问题的思维方式、知识技能的应用技巧等，全部融入到具体的项目实训案例中，让学生通过实训，掌握方法、提升思维模式。一体化实践运行平台，提供丰富实验实训环境。技术创新，实验环境管理智能高效基于容器与虚拟化技术，提供在线编程、远程命令行、交互式编程、远程桌面等实验实训环境，通过无感知的实验资源分配与回收替代复杂的实验环境管理，让实验管理智能高效。 参考技术B

大数据人才应用能力成长平台——Tempo
Talents，从产业人才需求的视角，通过模式创新、技术创新，为高校大数据人才培养提供从平台、课程内容到教学管理的系统解决方案。平台核心围绕“人才应用能力培养”，以实践为基础，将大数据人才培养所需的知识、技能和方法论三个层面互相融合，核心是通过学生动手实践，培养数据思维及解决问题的能力。

Tempo Talents核心应用场景

Tempo Talents——大数据应用能力成长平台核心面向大数据管理应用、数据科学与大数据技术、交叉学科等大数据相关专业，应用于教学实践、集中实训、在线竞赛、学习交流等场景。

Tempo Talents核心特点

1、DT-CMPA人才能力地图，让学习目标清晰明确

基于大数据行业人才标准及一万多个大数据相关岗位招聘需求解析，定义岗位素质模型，从岗位胜任力出发，规划学习路径和学习路线。基于人才能力地图，高校可以根据自己的学科建设目标、人才培养方向，进行课程体系的规划。而学生也能根据自己的就业目标，规划学习路径，让学生学习更具目标感，清楚学什么、为什么学。

2、专业课程实践资源，满足不同类型教学、实验需求

1）系统课程体系设计，名师专业课程打造

与多位高校老师沟通合作，围绕大数据学习路线的两个基础一个链条，打造9大方向、数百个分类，开发设计1000多个原子课，为高校实践教学提供丰富的课程资源。

2）创新原子课设计，知行合一

Q:何为“原子课”？

A:将课程中涉及的技术点、知识点“原子化”拆分，从基础原理、特性到最终应用，层层递进，用闯关的模式引导学生学习和实践，目的是让学生将每一个知识点吃透、掌握与应用。

基于原子课实现“个性化定制课堂”，老师可根据人才培养需求、学科特色、所用教材在原子课程库中自由挑选、灵活搭配难易度合适的知识点原子，灵活组合，实现“个性化定制课堂”。

3）个性化定制课堂，因材施教

定制化“教学课堂”，自定义教学计划，学生学习行为与评测结果记录，洞察和解析学生学习路径与成果，过程与结果并重，探索教学目标达成的最佳方案。

3、千余个项目应用实践经验，培养学生数据思维及解决问题的能力

基于美林数据上千个行业头部客户大数据建设项目经验，以行业应用为引导，以真实项目案例为基础，内嵌6大行业，100+项目实训，让学生了解行业最新实践与应用场景，通过实战演练提升学生解决实际问题的能力。

对于大数据学习而言，最难的不是Python的一段代码实现、也不是算法原理的掌握，而是在具体业务场景中，将业务问题数据化，利用分析工具、大数据知识去找到解决方案。

针对每一个实训项目，我们都将项目落地全过程进行深度剖析，还原项目落地全流程。将分析方法论、业务问题转化为数学问题的思维方式、知识技能的应用技巧等，全部融入到具体的项目实训案例中，让学生通过实训，掌握方法、提升思维模式。


4、一体化实践运行平台，提供丰富实验实训环境

1）技术创新，实验环境管理智能高效

基于容器与虚拟化技术，提供在线编程、远程命令行、交互式编程、远程桌面等实验实训环境，通过无感知的实验资源分配与回收替代复杂的实验环境管理，让实验管理智能高效。

2）编码式加拖拽式双环境，应用型与开发型兼顾

既有以原理、技术教学为目标的编码环境，也有以应用为目标的拖拽式环境。拖拽式数据可视化分析与机器学习建模平台，以应用为目标，与编码环境充分融合，满足大数据分析应用实践，为交叉学科大数据人才应用能力培养提供环境支持。

5、激发学生学习热情，打造“自驱型”能力成长平台

闯关、竞赛、自主探索的数据游乐场，打破传统的学习模式，打造专业与趣味性融合的学习体验，充分激发学生自主学习热情，打造“自驱型”能力成长平台。

参考技术C 四、人才培养目标
本专业主要面向大数据应用开发、大数据分析挖掘、大数据系统运维等岗位方向培养合格人才，重点培养具有大数据应用、大数据分析以及大数据系统管理与运维方向的，应用型高技能人才。
本专业方向重点培养能够为企事业单位提供大数据系统搭建、管理、和运维技术和能力的人才。通过计算机基础课程、算法语言、系统管理等专业基础知识学习，接受大数据系统和应用知识的培养，进行各种计算机系统，大数据平台系统，大数据应用系统搭建、配置、管理、及运维实训。通过大量的案例与实践操作，熟练掌握大数据系统管理所需的各种专业知识和能力，具备一定的职业素养，为从事大数据行业系统管理工作奠定坚实基础。
五、实践教学环境
新开普完美校园大数据实验室的软硬件系统配置主次分明，考虑到学生从基础理论到工程实践的各个环节，符合学生递进式的认知规律，有利于学生由浅入深的全面掌握大数据相关知识和应用。大数据实验实训室将搭建理论与实践的桥梁，为学生提供大数据技术的实验及实训平台，深化学生对大数据技术理论的理解，提高学生的操作能力，同时，利用所学知识对大数据技术进行创新性研究。具体建设内容包括：
1）物理层---硬件资源：
基于高性能计算与海量存储节点构建的运算资源池，作为云计算各项实验学习环境的主要承载平台，采用云服务器集群+虚拟主机+物理机的解决方案
2）资源池：
包含计算资源池、存储资源池、网络资源池。提供教学活动中必不可少学习资源、实验资源、项目案例。
3）业务平台层：
面向教学活动中的实验课程与项目实训业务提供流程化支撑。完美校园大数据实验室的业务平台层包含大数据教学管理平台和大数据科研平台。
4）统一管理层：
基于完美校园大数据实验室统一资源调度引擎，为用户使用业务平台层与资源平台提供便捷入口。
 
六、实验室功能系统模块
大数据实验室各个功能模块介绍如下：
1）云计算管理系统
完美校园大数据实验室采用云服务提供的虚机系统，云计算管理系统通过对硬件设施进行虚拟化处理，形成虚拟层面的资源池系统，该资源池系统可按需为每一套应用系统提供基础硬件资源——计算能力、存储能力和网络功能，快速适应不断变化的业务需求，实现“弹性”资源分配能力。
①   计算模块
计算模块主要提供云主机功能。而云主机提供了整个云平台中最基础的功能，即虚拟服务器从创建到销毁的全生命周期维护。此模块通过利用虚拟化技术，可将大批服务器硬件资源池化，用户仅需点击鼠标，选择期望的硬件配置、操作系统类型和网络配置等信息，即可在短时间内按需获得任意数量的云主机，模块支持云主机硬件配置在线升级、云主机热迁移、重启、暂停、创建快照等多种功能。
②   镜像模块
镜像功能模块是一套虚拟机镜像查找及检索系统，支持多种虚拟机镜像格式（AKI、AMI、ARI、ISO、QCOW2、Raw、VDI、VHD、VMDK），有创建上传镜像、删除镜像、编辑镜像基本信息的功能。
③块存储模块
块存储模块为运行实例提供稳定的数据块存储服务，即云硬盘服务。它的插件驱动架构有利于块设备的创建和管理，如创建卷、删除卷，在实例上挂载和卸载卷。它们独立于云主机的生命周期而存在，可挂载到任意运行中的云主机上，确保单台云主机故障时，数据不丢失，并具备基于云硬盘的快照创建、备份和快照回滚等功能。
④网络模块
网络模块提供云计算的网络虚拟化技术，为云平台其他服务提供网络连接服务。为用户提供接口，可以定义 Network、Subnet、Router，配置 DHCP、DNS、负载均衡、L3 服务，网络支持，GRE、VLAN。插件架构支持许多主流的网络厂家和技术，如 OpenvSwitch。
⑤安全模块
安全模块通过在计算模块中添加扩展实现，基于传统的包过滤型防火墙技术，可为用户的云主机提供细颗粒度的安全防护策略，支持 TCP/UDP/ICMP 等多种协议，支持自定义来源IP和端口范围等规则，支持用户针对不同类型云主机加载不同级别安全策略的功能。
2）大数据教学管理系统
大数据教学管理系统旨在提供统一的平台管理所有的课程教学资料、视频、讲义、实验指导手册、实验数据集、实验练习、实验报告书、实验成绩管理、用户管理（学生花名册管理、教师信息管理）。
大数据教学系统提供了5大功能模块，分别是：在线基础课程包、在线学习平台、在线练习平台、在线测试平台、在线讨论平台、数据分析平台。
①   在线基础课程包
根据岗位人才发展路径图，提供相应的学习课程资源部内容，客户根据实际情况选择适合自己的课程内容，完美校园大数据中心存储了大量教学资源。包含以下资源：
1.存储辅助性的讲解+PPT配套的视频课程，准确全面的给学生讲解相应的知识点或项目案例；
2.存储了通过CMMI4规范的真实的项目文档和案例，可以让学生在学校就能够接触到大规模科技公司的真实项目和研发流程；
3.针对不同的小练习，配合PPT视频教材，提供了详细的描述文档共学员选择不同的方式对知识点进行接纳和本回答被提问者采纳

基于云原生的大数据实时分析方案实践

1 方案介绍

大数据处理技术现今已广泛应用于各个行业，为业务解决海量存储和海量分析的需求。但数据量的爆发式增长，对数据处理能力提出了更大的挑战，同时对时效性也提出了更高的要求。实时分析已成为企业大数据分析中最关键的术语，这意味企业可将所有数据用于大数据实时分析，实现在数据接受同时即刻为企业生成分析报告，从而在第一时间作出市场判断与决策。典型的场景如电商大促和金融风控等，基于延迟数据的分析结果已经失去了价值。另外随着云原生时代的到来，云原生天生具有的高效部署、敏捷迭代、云计算资源成本和弹性扩展等优势，正在加速和缩短业务系统落地过程。云原生同样可助力大数据这一过程。

本文主要介绍如何利用 Kubernetes 实现云原生大数据实时分析平台。

2 总体架构

• Data Streams：基于 Kafka 的数据流接入方案
• Data Computations：基于 Spark Streaming 与 Flink 的流计算方案
• Data Pipeline：基于 TKDF（Tencent Kubernetes Data Flow） 的数据工作流方案
• Data Store：基于 Iceberg 与 HDFS 的数据湖方案
• Data Interactive Analysis：基于 Spark SQL 与 Presto 的 SQL 交互式分析方案
• Data Intelligence：基于 Metabase 的数据可视化方案以及若干数据接入方式
• Data Infrastructure：基于 TKBS（Tencent Kubernetes Bigdata Suite）的云原生大数据套件方案，可帮助用户一键在 Kubernetes 上部署生产可用的大数据平台；基于 TKE / EKS / TKEStack 的 Kubernetes 引擎方案，可为用户提供生产、管控和使用 Kubernetes 集群服务

3 数据接入流

在实时分析中，需要持续、快速、实时地接受源源不断的数据与事件，作为整个分析平台的数据来源与入口。这个过程最好是基于流的、高吞吐、可扩展、可对接主流计算引擎。我们选择 Apache Kafka 作为事件流处理的解决方案。

Apache Kafka 是一个分布式流处理平台，被很多公司广泛使用于数据管道、流分析、数据集成，消息中间件等领域。Kafka 适合场景包括：

• 消息队列：构造实时流数据管道，它可以在系统或应用之间可靠地获取数据
• 流处理：构建实时流式应用程序，对这些流数据进行转换或者影响

Apache Kafka 可通过容器化部署在 Kubernetes，充分利用 Kubernetes 资源自动部署、自动扩展、一次配置任意运行等能力做到云原生赋能。

4 数据计算

在传统的数据处理流程中，总是先收集数据，然后将数据放到数据库中。当人们需要的时候通过数据库对数据做查询，得到答案或进行相关的处理。这样看起来虽然非常合理，但是结果却非常的紧凑，尤其是在一些实时搜索应用环境中的某些具体问题，类似于 MapReduce 方式的离线处理并不能很好地解决问题。这就引出了一种新的数据计算结构 - 流计算方式。它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。

在云原生下，我们将流计算引擎容器化和迁移到 Kubernetes 上，利用 Kubernetes 自动化部署、HPA 等能力实现计算资源动态创建、调度与伸缩。云原生赋予了流计算即拿即用资源的能力。

当前主流的流计算引擎均可顺畅的运行在 Kubernetes 之上。

4.1 Spark on Kubernetes

Spark 在 2.3 之后，支持将集群创建和托管到 Kubernetes 中，以 native 方式运行。

Kubernetes 可帮助 Spark 任务分配和管理计算资源，提供网络和存储，管理任务生命周期，动态的横向扩展能力，以及连接 Kubernetes 生态其他服务的能力。

4.2 Flink on Kubernetes

Flink 在 Kubernetes 上支持 standalone 与 native 两种模式。standalone 相当于利用 Kubernetes Deployment、Service、Configmap 等在 Kubernetes 上创建一个完整 Flink 集群。native 方式类似 Spark native，是通过内置于 Flink Client 的 K8s Client 与 Kubernetes 集群交互，负责组件资源的创建和销毁。Flink 新引入的 Application 模式，更是可以在提交 Job 的同时动态创建 Flink 集群。

5 数据工作流

数据工作流（Data Pipeline）可以理解为一个贯穿数据产品或数据系统的管道，而数据就是管道载体的运输对象。数据工作流连接了数据处理分析的各个环节，将整个庞杂的系统变得井然有序，便于管理和扩展。

我们根据生产经验，设计和研发了基于云原生的数据工作流方案 TKDF，以帮助用户集中精力从数据中获取所需要的信息，而不是把精力花费在管理日常数据和管理数据库方面。

TKDF 有以下优势：

• 基于云原生
• YAML 声明式定义
• 支持主流数据源
• 接口式封装，可插件化增加新的数据源实现
• 完整的数据生命周期管理
• 原生支持 Spark Streaming
• 计算模型抽象，支持基数统计近似、漏斗模型、模糊计算、产品运营指标等

6 数据湖

现今大数据存储和处理需求越来越多样化，在后 Hadoop 时代，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析，成了企业构建大数据生态的一个重要方向。怎样快速、一致、原子性地在数据湖存储上构建起 Data Pipeline，成了亟待解决的问题。并且伴随云原生时代到来，云原生天生具有的自动化部署和交付能力也正催化这一过程。

基于 Hadoop 的云原生数据湖

传统方式下，用户在部署和运维大数据平台时通常采用手动或半自动化方式，这往往消耗大量人力，稳定性也无法保证。Kubernetes 的出现，革新了这一过程。Kubernetes 提供了应用部署和运维标准化能力，用户业务在实施 Kubernetes 化改造后，可运行在其他所有标准 Kubernetes 集群中。在大数据领域，这种能力可帮助用户快速部署和交付大数据平台（大数据组件部署尤为复杂）。尤其在大数据计算存储分离的架构中，Kubernetes 集群提供的 Serverless 能力，可帮助用户即拿即用的运行计算任务。并且再配合离在线混部方案，除了可做到资源统一管控降低复杂度和风险外，集群利用率也会进一步提升，大幅降低成本。

我们使用 TKBS 在 Kubernetes 上构建 Hadoop 数据湖：

基于 Iceberg 的云原生实时数据湖

Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a high-performance format that works just like a SQL table.

Apache Iceberg 是由 Netflix 开发开源的，其于2018年11月16日进入 Apache 孵化器，是 Netflix 公司数据仓库基础。Iceberg 本质上是一种专为海量分析设计的表格式标准，可为主流计算引擎如 Presto、Spark 等提供高性能的读写和元数据管理能力。Iceberg 不关注底层存储（如 HDFS）与表结构（业务定义），它为两者之间提供了一个抽象层，将数据与元数据组织了起来。

Iceberg 主要特性包括：

• ACID：具备 ACID 能力，支持 row level update/delete；支持 serializable isolation 与 multiple concurrent writers
• Table Evolution：支持 inplace table evolution（schema & partition），可像 SQL 一样操作 table schema；支持 hidden partitioning，用户无需显示指定
• 接口通用化：为上层数据处理引擎提供丰富的表操作接口；屏蔽底层数据存储格式差异，提供对 Parquet、ORC 和 Avro 格式支持

依赖以上特性，Iceberg 可帮助用户低成本的实现 T+0 级数据湖。我们使用 Iceberg + HDFS 的方式在 Kubernetes 上构建云原生数据湖。

我们使用 Kubernetes 负责应用自动化部署与资源管理调度，为上层屏蔽底层环境复杂性。通过 TKBS 一键式部署云原生数据湖。Iceberg + HDFS 实现了基于 Hadoop 生态的实时数据湖，为大数据应用提供数据访问及存储能力。Spark、Flink、Presto 等计算引擎以 native 或 standalone 方式运行于 Kubernetes 集群中，资源可随提交任务即拿即用。与在线业务混部后，更能大幅提升集群资源利用率。

• Resource Layer：使用 Kubernetes 提供资源管控能力
• Data Access Layer：使用 Iceberg 提供 ACID、table 等数据集访问操作能力
• Data Storage Layer：使用 HDFS 提供数据存储能力
• Data Computation Layer：使用 Spark / Flink / Presto on Kubernetes 提供流批计算能力或实现 SQL 引擎

7 交互式分析

实时分析除了持续实时分析外（Continuous real-time analytics），还包括交互式分析（On-demand real-time analytics）。交互式分析是一种反应式分析方法，用户通过查询获取分析结果（比如输入 SQL 语句）。我们采用 SQL 语句作为交互式查询语句，支持 Spark SQL 与 Presto 两种 SQL 查询引擎。

7.1 Presto on Kubernetes

Presto 是由 Facebook 开源的分布式 SQL 查询引擎，专门为交互式查询所设计，提供分钟级乃至亚秒级低延时的查询性能。它既可支持非关系数据源，例如 HDFS、Amazon S3、Cassandra、MongoDB 和 HBase，又可支持关系数据源，例如 MySQL、PostgreSQL、Amazon Redshift、Microsoft SQL Server 和 Teradata。

Presto 查询引擎是 Master-Slave 架构，由一个 Coordinator节点，一个 Discovery Server 节点，多个 Worker 节点组成。

我们通过 standalone 方式将 Presto 集群部署在 Kubernetes 上：

7.2 Spark SQL on Kubernetes

Spark SQL 是 Spark 结构化数据的执行模块，可支持使用 SQL 在 Spark 查询分析结构化数据 DataFrames、Datasets。我们同样支持使用 Spark SQL 作为交互式分析引擎，将执行的 Spark 任务以 native 方式运行在 Kubernetes 上。

8 数据智能分析

我们正处于大数据和数字化转型的时代，数据无处不在，运用数据驱动的思想和策略在实践中逐渐成为共识。数据的价值已在科学研究和工商业的不同领域得到充分展现。数据智能工具和技术的应用可以帮助决策者更好地理解所收集的信息，从而开发出更好的业务流程。我们通过提供数据接口与接入外部 BI 来达成这一目的。

8.1 数据接口

我们通过以下方式提供交互式入口或数据接口，以帮助用户使用或接入第三方系统：

• 图形化界面：基于 Metabase 的开源 BI 系统
• JDBC 接口：通过 Spark Thrift Server 或 Presto JDBC Driver 的连接
• 命令行接口：通过 Spark SQL CLI 或 Presto CLI 连接

8.2 数据可视化

Metabase 是一个开源的商业智能工具，你可以向它提出关于数据的问题（数据查询），而获取有意义的格式化结果（图形化视图）。我们可通过它理解数据、分析数据，以数据驱动决策。

Metabase 支持诸多数据源及计算引擎接入：

我们利用官方提供的 Helm 包，可以方便的将 Metabase 部署于 Kubernetes 上。

9 数据基础设施

9.1 TKBS

TKBS（Tencent Kubernetes Bigdata Suite）是我们根据生产经验开发的云原生大数据套件项目，用户可使用 TKBS 一键在 Kubernetes 上部署生产可用的大数据平台。TKBS 当前已支持 Hadoop 主要组件以及主流大数据组件的部署。

TKBS 主要特点如下：

• 兼容社区：支持原生 Kubernetes
• 一键部署：采用 Helm 应用化封装
• 云原生增强：与腾讯云 TKE、EKS、CBS、CLB、COS 和 CHDFS 等云服务深度整合；支持开源 TKEStack
• 存算分离：支持存储计算分离架构
• 自动扩缩容：支持自动 HPA 和 CA，节省运营成本
• 离在线混部：支持与在线业务混合部署，提升资源利用率

9.2 TKE / EKS / TKEStack

我们使用腾讯云 TKE / EKS 或开源 TKEStack 帮助我们生产和管理 Kubernetes 集群。

• TKE：腾讯云容器服务（Tencent Kubernetes Engine ，TKE）基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务
• EKS：腾讯云弹性容器服务（Elastic Kubernetes Service，EKS）是腾讯云容器服务推出的无须用户购买节点即可部署工作负载的服务模式
• TKEStack：腾讯云 TKE 团队开源的一款集强壮性和易用性于一身的企业级容器编排引擎，以极简的向导式界面提供了容器应用的全生命周期管理能力，帮助用户在私有云环境中敏捷、高效地构建和发布应用程序

10 结尾

云原生的到来不止为大数据部署和交付带来了变革，它更是帮助大数据连接了一个生态。利用云原生生态，真正做到了为大数据赋予云的能力，使得大数据可以“生长在云端”。另外，云原生在大数据领域的应用，也同样帮助云原生拓展了能力边界，丰富了落地场景，为未来“Everything native on Cloud”打下夯实基础。

TKBS 已上线腾讯云 TKE 应用市场，下个版本会加入对实时分析完整方案与 TKDF 的支持。我们希望凭借基于 TKBS 与 TKDF 的大数据实时分析方案，可以帮助用户缩短大数据交付过程，简化大数据系统部署与运维复杂度，让用户聚焦在挖掘数据价值本身。另一方面，借助云原生架构，我们希望能帮助用户的大数据业务与云发生联系，为用户带来更多的可能性，帮助用户创造更多的价值。

生于云上，为云而生！