[Spark]-结构化流之输出篇

Posted 2020-12-02 nightpxy

5.结构化流的输出

 　一旦定义好了streaming DataFrame/Dataset的最终结果,剩下的就是一些计算输出了.为此,必须使用 DataStreamWriter通过 Dataset.writeStream() 返回.此时必须以下一个或多个

　　　输出落地 的详细信息:  Data format, location 等等

　　　输出模式(Output mode)

　　　查询名称(Query name)  可选，指定用于标识的查询的唯一名称

　　　触发器间隔(Trigger interval):可选地,指定触发间隔。如果没有指定,系统将检查尽快获得新数据前处理完成。如果一个触发时间错过了,因为前面的处理还没有完成,则系统将触发立即处理

　　　检查点位置(Checkpoint location) 对于可以保证 end-to-end fault-tolerance （端对端容错）能力的某些 output sinks ，请指定系统将写入所有 checkpoint （检查点）信息的位置。

　　　　　　　　　　　　　　　　　　 这应该是与 HDFS 兼容的容错文件系统中的目录.

　　5.1 输出模式

　　　　追加(append)(默认) 这是默认的模式.在上次触发后,只有新行添加到结果表(result-table)才会触发。

　　　　　　　　　　　　　这是只支持那些查询,行添加到结果表永远不会改变,因为这种模式保证每一行将只输出一次。例如,只有选择查询,地图,flatMap,过滤,加入等将支持附加模式

　　　　完全(complete) 每次触发时都会将整个结果表(result-table)输出.例如聚合结果等

　　　　更新(update) 只有结果表在上次被触发后被更新才会触发

　　　　不同的查询支持不同的输出模式,具体见下:

查询类型		支持模式	描述
带聚合的查询	聚合带事件时间的水印	Append, Update, Complete	Append 使用水印来删除旧的聚集状态 窗口将在水印最终阈值的时候聚合.所以结果将在水印过期,最终结果确定的情况下添加进结果表 Update 使用水印来删除旧的聚集状态 Complete 不会使用水印来删除旧的聚集状态
	不带水印的聚合	Complete, Update	由于没有使用水印,旧的聚集状态不会被删除.不支持append,因为对整数据的聚合结果会不断更新,不符合append的语义
mapGroupsWithState		Update
flatMapGroupsWithState	追加操作模式	Append	flatMapGroupsWithState 之后允许 Aggregations （聚合）
	更新操作模式	Update	flatMapGroupsWithState 之后不允许 Aggregations （聚合）。
带join的查询		Append	join不支持Update,Complete模式
其它查询		Append, Update	不支持Complete.因为非聚合数据的结果表,全部保存进结果表时不允许的

　　5.2 输出落地

　　　　  5.2.1 落地文件

　　　　5.2.2 落地Kafka

　　　　5.2.3 落地控制台(debug使用)

　　　　5.2.4 落地Memory接收器(debug使用)

　　　　5.2.5 foreach

　　　　　　 foreach落地,是用户自定义输出的一种方式.foreach需要用户实现 ForeachWriter 类.实际处理取决于用户如何实现.(foreach只能使用在Scala/Java中)

　　　　　　它将在触发器(trigger)之后生成结果行时调用一个用户实现.

　　　　　　注意: foreach的实现载体是多个executor中的某一个

　　　　　　5.2.5.1 实现

　　　　　　　　open: writer 初始化时执行(例如打开连接,开启事务等).它具有两个入参: version=>每个触发器单调递增的ID  partitionId =>分区ID.


　　　　　　　　　　　open将返回一个布尔值.当为false时,后续将不会产生任何调用.用户可以根据自己的逻辑,用这个返回值指出本次输出后续是否还有必要执行

　　　　　　　　proccess:根据open的返回值决定是否需要执行.

　　　　　　　　close:无论open返回什么值,close必然会执行.这里适合用户做一些资源回收操作

　　　　5.2.6 输出落地可以承载的输出模式

 

接收器	支持的输出模式	可选项	容错机制	备注
文件	Append	path	支持容错(有且仅有一次)	支持分区
kafka	Append, Update, Complete	详见kafka专章	支持容错(最少一次)
foreach	Append, Update, Complete		取决于foreach的实现
控制台	Append, Update, Complete	numRows:每次打印的行数(默认20),truncate:输出太长时截断(默认true)	不支持容错
内存	Append, Complete		不支持容错,但重启时重建整张结果表