有没有办法在 Databricks 上测试我的 Pyspark 笔记本
Posted
技术标签:
【中文标题】有没有办法在 Databricks 上测试我的 Pyspark 笔记本【英文标题】：Is there way to test my Pyspark notebooks on Databricks 【发布时间】：2020-11-25 13:43:03 【问题描述】：我正在开发数据块并想测试我在笔记本中定义的实用功能，最好的方法是什么？提前感谢您的帮助?????????
【问题讨论】：
【参考方案1】：您可以使用databricks-connect：Databricks Connect 允许您将您喜欢的 IDE（IntelliJ、Eclipse、PyCharm、RStudio、Visual Studio）、笔记本服务器（Zeppelin、Jupyter）和其他自定义应用程序连接到 Databricks 集群并运行 Apache火花代码。
使用 databricks-connect，您可以将您喜欢的 IDE 连接到您的 Databricks 集群。这意味着您现在可以更轻松地链接、测试和打包要在 Databricks 上运行的代码。
更多详情，请参考Test Code in Databricks Notebooks。
【讨论】：
以上是关于有没有办法在 Databricks 上测试我的 Pyspark 笔记本的主要内容，如果未能解决你的问题，请参考以下文章
检查是不是在 databricks 笔记本或 ont 上工作
为啥 Databricks Connect 测试无法在 Mac 上运行？
为啥 Databricks 中没有来自 summary(glm) 的 t 分数或 p 值？