Airflow踩坑Xcom任务间数据传递反序列化失败
Posted mkdir700
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Airflow踩坑Xcom任务间数据传递反序列化失败相关的知识,希望对你有一定的参考价值。
基本信息
Airflow版本:2.2.3
部署方式:K8s + helm
后端数据库:mysql5.7
异常描述
我在做一个ETL任务时,发现上流任务的返回值(5W条数据),无法在下流任务中解析出来。
默认使用的是以Json数据作为任务之间的值传递。
查看日志,抛出异常如下:
json.decoder.JSONDecodeError: Unterminated string starting at: line 1 column 65528 (char 65527)
json反序列失败了。
如果是采用pickle
二进制作为任务之间的值传递,则会出现以下报错:
airflow pickle data was truncated
意思是,这个数据被截断了,即不完整。
解决方案
看到truncated
关键字,数据被截断。
这让我判断出可能和Mysql字段定义的长度有关系。
任务之间的值传递依赖Xcom
模块,它在后端数据库的表明同名,查看value
字段的类型为blob
blob
最大的存储为65kb
,我们只需要修改这个字段类型为mediumblob
或者 longblob
。
ALTER TABLE `airflow`.`xcom`
MODIFY COLUMN `value` mediumblob NULL AFTER `key`;
参考文章
以上是关于Airflow踩坑Xcom任务间数据传递反序列化失败的主要内容,如果未能解决你的问题,请参考以下文章
将 xcom 值传递给 Airflow 中的 JiraOperator