在Databricks + Spark笔记本中使用curl

Posted 2021-03-30

我正在使用Databricks运行Spark集群。我想使用curl从服务器传输数据。例如，

curl -H "Content-Type: application/json" -H "auth:xxxx" -X GET "https://websites.net/Automation/Offline?startTimeInclusive=201609240100&endTimeExclusive=201609240200&dataFormat=json" -k > automation.json

如何在Databricks笔记本中执行此操作（最好是在python中，但Scala也可以）？

答案

在Scala中，您可以执行以下操作：

import sys.process._
val command = """curl -H "Content-Type: application/json" -H "auth:xxxx" -X GET "http://google.com" -k > /home/user/automation.json"""
Seq("/bin/bash", "-c", command).!!

另一答案

在Databricks中，您可以通过使％sh成为单元格的第一行来从单元格运行shell命令：

%sh
curl -H "Content-Type: application/json" -H "auth:xxxx" -X GET "https://websites.net/Automation/Offline?startTimeInclusive=201609240100&endTimeExclusive=201609240200&dataFormat=json" -k > automation.json