导出hive数据，用逗号分割

Posted 2023-05-02

参考技术A

第一种方法： 用hive -e命令

第二种方法： 使用重定向

问题 ：由于我的数据里可能含有英文逗号 , 。再以逗号分割字段，在后续导入csv的过程中可能遇到问题。因此在导出时先用 \\001 作为分割符导出csv，用文本编辑器先把所有的英文逗号替换成中文逗号，再把所有的 001 替换成英文逗号，也算解决了问题。

数据库设计中，多对多关系使用使用逗号分割关联讨论

进公司一个月，发现公司很多人喜欢用逗号分割，去存储其它表的主键，做多对多关联，但存在很多乱用现象。这里对这种方式做了下总结。

 

 

 

        在传统数据库设计中，多对多关系存储通常都是用一张中间表来简历两张表的关系。例如用户和角色，一个用户有多个角色，而一个角色下又会有多个用户。这样，理所当然的我们会想着用张中间表去存储两者的关系。这样角色就能很容易的查出自己对应的多个用户。用户也同样能容易查出自己有哪些角色。这种设计是通用而合理的，两个对象都可以维护之前的关系。

 

          有种情况:例如对象A与对象B，两者之间是多对多关系。但A对象是个相对固定，或者说几乎没有查询与操作。我们只需要在B对象上维护A对象的关系。这时我们可以用逗号去分割A对象的ID去存储多个A的关系。

 

优点: 不用建中间表，操作起来会更方便。

缺点:   当二者关联关系改变时，不易去维护，而且这种关联关系时单向的，也就是说只适合与单向关联。

 

   适用范围总结:与枚举表关联，与附件表关联，及其他只需单向关联，且关联数量不会太多的情况。

 

 

优点: 不用建中间表，操作起来会更方便。