使用 .NET 应用程序从外部主机将数据写入 GCP BigTable

Posted

技术标签:

【中文标题】使用 .NET 应用程序从外部主机将数据写入 GCP BigTable【英文标题】:Write data to GCP BigTable from external Hosting with .NET application 【发布时间】:2017-12-06 16:31:16 【问题描述】:

我们在 Rackspace 中托管了一个 .NET 应用程序。我们希望将分析数据(简单日志)从外部主机写入 BigTable 或 Google Cloud Platform 上的任何其他产品。

    有可能吗?

    是否有任何 .NET 库可用于将数据连接和写入 GCP BigTable?

谢谢!

【问题讨论】:

【参考方案1】:

我是 Cloud Bigtable 客户端技术主管。我们正在积极开发 C# 客户端。 Here 是包含所有 C# Google Cloud 库的存储库,包括我们正在开发的 C# 客户端。 Here 是金块。我们还没有任何公开文档,但我们有可以用作示例的测试代码。

我们可以在优先事项上与您合作。请随时在我们的public discussion forum 上进行更深入的对话。一旦我们大致了解了您的用例,我们可能会就如何将您的优先事项纳入我们正在进行的开发工作进行更多的私人讨论。

FWIW,this is my github profile 提供更多联系信息。

警告:Cloud Bigtable C# 客户端目前处于预测试阶段。

【讨论】:

CloudSQL 怎么样? @Solomon 我们也在等待 C# 客户端,因为我们使用 .Net 完成大部分应用程序。对于初学者,您是否有关于如何使用当前 pre-alpha C# 客户端的工作示例?比如如何查询和加载一些数据到 bigtable 中?谢谢 我们的初始示例在这里,它有一个良好的开端:github.com/GoogleCloudPlatform/cloud-bigtable-examples/pull/272。我们仍在研究自动重试等性能和可靠性功能【参考方案2】:

Stackdriver(Google Cloud Platform 的一部分)专为收集和分析日志、指标和未捕获的异常等而设计。您的代码可以在任何地方运行并向 Stackdriver 报告。这些 C# 示例展示了如何将日志写入堆栈驱动程序: https://github.com/GoogleCloudPlatform/dotnet-docs-samples/tree/master/logging/api

我还没有找到导出到 BigTable 的方法。不过,有一些简单的方法可以导出到 Cloud Storage、Cloud Pub/Sub 或 BigQuery。

【讨论】:

以上是关于使用 .NET 应用程序从外部主机将数据写入 GCP BigTable的主要内容,如果未能解决你的问题,请参考以下文章

将大量数据写入excel:超出了GC开销限制

使用 Express 从本地主机获取数据/将数据写入本地主机

当外部程序将多条记录写入一条记录时,如何规范化数据?

如何从外部进程将数据写入现有进程的 STDIN?

外部 dll 调用后 log4net 写入错误的日志文件

将文件从 docker 容器写入 AWS 上的主机实例