spark streaming可以基于executor建立mysql的连接池吗
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark streaming可以基于executor建立mysql的连接池吗相关的知识，希望对你有一定的参考价值。
参考技术A 对于一个在线的spark streaming系统，DStream是源源不断的，当需要查mysql数据库时，如果我们基于每个RDD，或基于分区建立mysql连接，那么需要经常建立、关闭数据库连接。能不能在启动application时，在executor上先建立一个mysql连接池，然后该executor上的所有task都直接使用连接池中的连接访问数据库？如果可以，怎么实现呢？本回答被提问者采纳以上是关于spark streaming可以基于executor建立mysql的连接池吗的主要内容，如果未能解决你的问题，请参考以下文章
spark streaming可以基于executor建立mysql的连接池吗
Spark Streaming vs. Structured Streaming