01 DataBricks+DataFactory介绍

Posted 2021-09-03 ζ漠小斌

本文主要介绍DataFactory、DataBricks.有兴趣的可以看官方文档

DataFactory

Azure 数据工厂是 Azure 的云 ETL 服务，用于横向扩展无服务器数据集成和数据转换。 它提供了无代码的 UI，以用于直观创作和集中式监视与管理。 还可以将现有 SSIS 包直接迁移到 Azure，并在 ADF 中运行它们（二者完全兼容）。 SSIS Integration Runtime 提供完全托管的服务，因此无需担心基础结构管理。

官方介绍

DataBricks

Azure DataBricks 是一个已针对 Microsoft Azure 云服务平台进行优化的数据分析平台。 Azure DataBricks 提供了两种用于开发数据密集型应用程序的环境：Azure DataBricks SQL Analytics 和 Azure DataBricks 工作区。

Azure DataBricks SQL Analytics 为想要针对数据库运行 SQL 查询、创建多种可视化类型以从不同角度探索查询结果，以及生成和共享仪表板的分析员提供了一个易于使用的平台。

Azure DataBricks 工作区提供了一个交互工作区，支持数据工程师、数据科学家和机器学习工程师之间的协作。 使用大数据管道时，原始或结构化的数据将通过 Azure 数据工厂以批的形式引入 Azure，或者通过 Apache Kafka、事件中心或 IoT 中心进行准实时的流式传输。 此数据将驻留在 Data Lake（长久存储）、Azure Blob 存储或 Azure Data Lake Storage 中。 在分析工作流中，使用 Azure DataBricks 从多个数据源读取数据，并使用 Spark 将数据转换为突破性见解。

databricks分商业版本和社区版本，学生以及个人可以使用社区版本。社区版本只需要注册一下账号，则就会拥有一台配置为6G内存的Spark集群环境。

官方介绍