Note_Logistics_Day18(数据服务接口开发)

Posted 2021-07-05 ChinaManor

Logistics_Day18：数据服务接口开发

网址：https://smart.jdwl.com/jh_demo.html

01-[复习]-上次课程内容回顾

​ 主要实现自定义外部数据源：按照SparkSQL提供DataSource API V2实现ClickHouse数据源，可以批量从ClickHouse数据库加载load和保存save数据，以及流式数据保存。

在SparkSQL中，从2.3版本开始，提供DataSource API V2（使用Java语言开发接口）版本，继承结构示意图如下所示：

• 批量加载数据：spark.read.format.option.load()
• 批量保存数据：dataframe.write.format.option.save()
• 流式数据加载：spark.readStream.format.option.load()
  • 微批处理，将流式数据划分很多微批次进行加载；连续流处理，来一条处理一条数据
• 流式数据保存：dataframe.writeStream.fotmat.option.start()