superset采集流程
Posted hongfeng2019
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了superset采集流程相关的知识,希望对你有一定的参考价值。
superset采集流程:
先从业务的bi从库oride-slave-bi(10.52.123.212)去拿数,然后计算(每10分钟由airflow调py代码),放到bi的库(BI业务-数据指标存储10.52.149.112)由superset显示出来. 还有一部分数据是由算法的redis来
痛点: superset突然出现悬崖式断点
分析原因:
1/ airflow调度时拥塞,处理速度慢
2/ 业务的bi从库没有数
3/ 从算法的redis里拿不到数
以上是关于superset采集流程的主要内容,如果未能解决你的问题,请参考以下文章