hive 的元数据存储在 derby 和 mysql 中有啥区别

Posted 2023-05-07

Hive 的元数据存储在RDBMS中，一般常用 mysql 和 Derby。默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不适用，为了支持多用户回话，需要一个独立的元数据库，所以使用 MySQL。
总结：
1、Derby 只支持一个会话连接
2、 MySQL 支持多个会话连接，并且可以独立部署 参考技术A 定义 元数据最本质、最抽象的定义为：data about data (关于数据的数据)。它是一种广泛存在的现象，在许多领域有其具体的定义和应用。 在数据仓库领域中，元数据被定义为：描述数据及其环境的数据。一般来说,它有两方面的用途。本回答被提问者采纳

Hive导入导出

EXPORT 命令导出数据表或分区，与元数据一起输出到指定位置。又可以从这个输出位置移动到不同的Hadoop 或Hive 实例中，并且使用IMPORT 命令导入。

当导出一个分区表时，原始数据可能位于不同的HDFS位置，同时还支持导出/导入分区的子集。

导出的元数据存储在目标目录中，数据文件则存储在子目录中。

EXPORT 和IMPORT 命令独立于所用的数据源和目标元数据数据管理系统；例如，它们可以在Derby和MYSQL数据库之间使用

 

导入/导出语法

• 数据导出（EXPORT）

EXPORT TABLE tablename [PARTITION (part_column="value"[, ...])] 
  TO ‘export_target_path‘ [ FOR replication(‘eventid‘)

• 数据导入（IMPORT）

IMPORT [[EXTERNAL] TABLE new_or_original_tablename [PARTITION (part_column="value"[, ...])]] 
  FROM ‘source_path‘
  [LOCATION ‘import_target_path‘]

导入/导出实例

• 简单导入/导出

export table department to ‘hdfs_exports_location/department‘;
import from ‘hdfs_exports_location/department‘;

• 导入重命名

export table department to ‘hdfs_exports_location/department‘;
import table imported_dept from ‘hdfs_exports_location/department‘;

• 导出分区

export table employee partition (emp_country="in", emp_state="ka") to ‘hdfs_exports_location/employee‘;
import from ‘hdfs_exports_location/employee‘;

• 导入分区

export table employee to ‘hdfs_exports_location/employee‘;
import table employee partition (emp_country="us", emp_state="tn") from ‘hdfs_exports_location

• 指定导入位置

export table department to ‘hdfs_exports_location/department‘;
import table department from ‘hdfs_exports_location/department‘ 
       location ‘import_target_location/department‘;

• 作为外部表导入

export table department to ‘hdfs_exports_location/department‘;
import external table department from ‘hdfs_exports_location/department‘;

参考：
https://www.shiyanlou.com/courses/38/labs/775/document
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport