在 Hadoop 或 MySQL 中重塑 dcast 表

Posted

技术标签:

【中文标题】在 Hadoop 或 MySQL 中重塑 dcast 表【英文标题】:Reshape dcast Table in Hadoop or MySQL 【发布时间】:2020-02-24 03:00:13 【问题描述】:

我有一个与此类似的问题,但我需要在 Hadoop 或 mysql 中重新格式化我的数据,因为行数超过十亿。是否有可以创建这种格式的 MySQL 代码?

https://***.com/questions/23003508/reshape-table-in-mysql-or-r#=

谢谢,

【问题讨论】:

【参考方案1】:

在 Impala 中通过手动创建新列来解决这个问题

    create table newtab as select period,case when `date`=2005 then rating else null end as 2005,


                                  case when `date`=2006 then rating else null end as 2006,
                                             .
                                             .
                                             case when `date`=2011 then rating else null end as 2011
   from origtable 

【讨论】:

以上是关于在 Hadoop 或 MySQL 中重塑 dcast 表的主要内容,如果未能解决你的问题,请参考以下文章

在 Spark RDD 和/或 Spark DataFrames 中重塑/透视数据

在 Spark RDD 和/或 Spark DataFrames 中重塑/透视数据

Mysql,重塑数据从长/高到宽

无法正确重塑窗口中的多边形

Big Query 或 SQL 重塑数据

Coreml:如何将数组 (1, 3, 80, 80, 19) 重塑为 (3, 6400, 19) 或 (1, 3, 6400, 19)