如何从DataFrame在谷歌存储中创建一个Json文件？

Posted 2021-05-01

我有以下代码（Python 2.7）：

import pandas as pd
....
pd.DataFrame(response2.json())['results'].to_json('orders.json', orient='records')

这会在我的本地项目中保存orders.json文件。我希望将文件写入我的Bucket on Google Storage而不是本地计算机。

是否可以直接生成文件到存储，还是必须在本地创建然后上传？

我知道应该是这样的：

from google.cloud import storage
storage_client = storage.Client()
bucket = storage_client.get_bucket("MyTestBucket")
blob = bucket.blob("folderName/" + blob?!)
blob.upload_from_filename("orders.json")  # Or something with writing the DataFrame?

有人可以帮忙吗？

答案

我发现使用datalab.storage可以更方便地将数据写入Google云端存储。

import datalab.storage as storage
import pandas as pd

# Define sample dataframe to write
df = pd.DataFrame(data=[{1,'product1','description1'},{2,'product2','description2'}],columns=['id','name','description'])

# Define your bucket and write to GCS
storage.Bucket('{your-bucket-name}').item('{folder}/{your-file}.json').write_to(df.to_json(),'text/json')