无法使用Pyspark从EMR群集连接到Snowflake

Posted 2021-04-06

我正在尝试使用pyspark从EMR群集连接到Snowflake。

我正在火花提交中使用这两个罐子。

• snowflake-jdbc-3.5.2.jar
• spark-snowflake_2.11-2.7.0-spark_2.4.jar

但是它因连接超时错误而失败。我为EMR群集配置了正确的代理。来自同一EC2（EMR主服务器）我可以使用snowsql和python连接器连接到Snowflake。

我不确定为什么pyspark超时。

答案

您可以使用我们的SnowCD工具来检查连接诊断。这与网络问题有关。https://docs.snowflake.com/en/user-guide/snowcd.html

下面是我尝试通过EMR Shell运行时的命令。

pyspark --packages net.snowflake：snowflake-jdbc：3.6.27，net.snowflake：spark-snowflake_2.12：2.4.14-spark_2.4

spark-submit-打包net.snowflake：snowflake-jdbc：3.8.0，net.snowflake：spark-snowflake_2.11：2.4.14-spark_2.4 SparkConnPythonWithCert.py

Spark-shell --packages net.snowflake：snowflake-jdbc：3.8.0，net.snowflake：spark-snowflake_2.11：2.4.14-spark_2.4