如何使用 sql 查询以行存储模式在 snappydata 表中加载 JSON 数据?

Posted

技术标签:

【中文标题】如何使用 sql 查询以行存储模式在 snappydata 表中加载 JSON 数据?【英文标题】:How to load JSON data in snappydata table with rowstore mode using sql query? 【发布时间】:2018-07-05 06:09:37 【问题描述】:

我正在使用 snappydata。我有 1M 行 JSON 文件,我想使用 sql(snappydata sql) 将该 JSON 文件加载到 snappydata 表中。

【问题讨论】:

【参考方案1】:

步骤 1)

create external table t1 using json options(path 'location of your json file(s)');

第二步)

加载到 Snappy 列或行表中:

create table My-in-memory-table using column as (select * from t1);

我认为,如果您的 json 文档是多行的,可能会有一些问题。但是,有一些方法可以解决这个问题。

【讨论】:

以上是关于如何使用 sql 查询以行存储模式在 snappydata 表中加载 JSON 数据?的主要内容,如果未能解决你的问题,请参考以下文章

如何在 Spark SQL 中使用 snappy 压缩将数据写入配置单元表

《Microsoft SQL Server入门教程》第04篇 简单查询

Flink 实战系列Flink 同步 Kafka 数据到 HDFS parquet 格式存储 snappy 压缩

Flink 实战系列Flink 同步 Kafka 数据到 HDFS parquet 格式存储 snappy 压缩

文件格式对比ORC-Parquet,存储格式对比Gzip-Bzip2-Snappy

pyspark如何加载压缩的snappy文件