使用apache livy导致的结果集不一致问题记录
Posted songchaolin
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了使用apache livy导致的结果集不一致问题记录相关的知识，希望对你有一定的参考价值。
spark sql使用自己封装的livy 引擎执行时有丢失数据情况。排查发现livy session页面中的sql有中文乱码。
之后在livy 源码中未找到相关序列化指定字符集的代码。回头排查自己的代码
修改完毕后重新执行 观察livy session中的sql。
果然乱码没了,执行结果集跟spark后台执行一致。
以上是关于使用apache livy导致的结果集不一致问题记录的主要内容，如果未能解决你的问题，请参考以下文章
Apache Livy：通过 REST 查询 Spark SQL：可能吗？