Data Lake Store 的流分析可能的输出路径前缀
Posted
技术标签:
【中文标题】Data Lake Store 的流分析可能的输出路径前缀【英文标题】:Stream Analytics possible output path prefix for Data Lake Store 【发布时间】:2017-05-31 20:38:56 【问题描述】:有没有办法在流分析作业中设置输出路径前缀,将数据存储到 Data Lake Store 以将其存储到单独的文件(取决于设备 ID)中,例如 data/2017/5/3/device1.csv ,data/2017/5/3/device2.csv ...或者在流分析将数据存储到一个文件之后,最好的方法是什么? 我的输入文件是 iot hub。
【问题讨论】:
【参考方案1】:有没有办法在流分析作业中设置输出路径前缀,将数据存储到 Data Lake Store 以将其存储到单独的文件(取决于设备 ID)中,例如 data/2017/5/3/device1.csv , 数据/2017/5/3/device2.csv.
根据document,根据我的理解,我们可以设置输出路径前缀为date/time,并且不要求必须使用变量。
似乎不支持使用动态设备 ID 设置输出路径。 如果可以创建多个流分析作业,我们可以创建流分析作业并使用静态设备 ID 作为路径前缀添加输出。
【讨论】:
以上是关于Data Lake Store 的流分析可能的输出路径前缀的主要内容,如果未能解决你的问题,请参考以下文章
通过 OData 公开的 Azure Data Lake Store
Usql 与 Azure Data Lake Store .net SDK
hdfs dfs -setfacl 在 Azure Data Lake Store 上失败
使用 Azure 数据工厂将数据从 Google Big Query 移动到 Azure Data Lake Store
如何在 C# 中使用服务主体(clientId 和 clientSecret)为 Azure Data Lake Store(Gen-2)创建 SAS 令牌?
使用 Azure 数据工厂 (ADF) 数据流 (DF) 从/向 Azure Data Lake Store gen1 发送和接收数据