通过MATLAB将矩阵数据写入HDF5文件中的每个数据类型成员

Posted

技术标签:

【中文标题】通过MATLAB将矩阵数据写入HDF5文件中的每个数据类型成员【英文标题】:Write Matrix Data to Each Member of Datatype in HDF5 file via MATLAB 【发布时间】:2019-08-27 14:52:26 【问题描述】:

这是我第一次尝试通过 MATLAB 使用 Low-Level commands 从头开始​​创建 HDF5 文件。

我的问题是我很难尝试将数据写入数据集数据类型中的每个特定成员。

首先,我创建一个新的 HDF5 文件,并设置正确的组层:

new_h5 = H5F.create('new_hdf5_file.h5','H5F_ACC_TRUNC','H5P_DEFAULT','H5P_DEFAULT');
new_h5 = H5G.create(new_h5,'first','H5P_DEFAULT','H5P_DEFAULT','H5P_DEFAULT');
new_h5 = H5G.create(new_h5,'second','H5P_DEFAULT','H5P_DEFAULT','H5P_DEFAULT');

然后,我创建我的数据类型:

datatype = H5T.create('H5T_compound',20);
H5T.insert(datatype,'first_element',0,'H5T_NATIVE_INT');
H5T.insert(datatype,'second_element',4,'H5T_NATIVE_DOUBLE');
H5T.insert(datatype,'third_element',12,'H5T_NATIVE_DOUBLE');

然后,我将其格式化到我的数据集中:

new_h5 = H5D.create(new_h5,'location',datatype,H5S.create('H5S_SCALAR'),'H5P_DEFAULT');
subset = H5D.get_type(H5D.open(new_h5,'/first/second/location'));
mem_type = H5T.get_member_type(subset,0);

我收到以下命令的错误:

H5D.write(mem_type,'H5ML_DEFAULT','H5S_ALL','H5S_ALL','H5P_DEFAULT',data);

使用 hdf5lib2 时出错

遇到未处理的 HDF5 类 (H5T_NO_CLASS)。无法写入此属性或数据集。

所以,我试试这个方法:

new_h5 = H5D.create(new_h5,'location',datatype,H5S.create_simple(2,dims,dims),'H5P_DEFAULT'); %where dims are the dimensions of all matrices of data structure
H5D.write(mem_type,'H5ML_DEFAULT','H5S_ALL','H5S_ALL','H5P_DEFAULT',data); %where data is a structure

我收到以下命令的错误:

H5D.write(mem_type,'H5ML_DEFAULT','H5S_ALL','H5S_ALL','H5P_DEFAULT',data);

使用 hdf5lib2 时出错

试图将过多的值传入或传出库缓冲区。

在查看here 以获取错误消息的 XML 标记时,它将上述错误描述为“illegalArrayAccess”。显然,根据this question,您只能写入4个成员而缓冲区不会抛出错误?

这是正确的吗?我怎样才能正确地写给每个成员。我即将达到我的精神极限,试图弄清楚这一点。

编辑

此处为一般信息提供参考:

HDF5 Compound Datatypes Example

HDF5 Compount Datatypes

H5D.write MATLAB Command

【问题讨论】:

【参考方案1】:

我发现了为什么我不能写入数据。我已经解决了这个问题。我的尺寸设置不正确(这是我最初忘记包含的代码)。我很抱歉。我的尺寸是这样的:

dims = fliplr(size(data_matrix));

其中 dims 是一个 15x250 矩阵。错误在于缓冲区无法为每个成员写入 250x15 矩阵,因为它只有每个成员的 250x1 数据。

以下代码将(通常)用于向每个成员写入数据:

new_h5 = H5F.create('new_hdf5_file.h5','H5F_ACC_TRUNC','H5P_DEFAULT','H5P_DEFAULT');
new_h5 = H5G.create(new_h5,'first','H5P_DEFAULT','H5P_DEFAULT','H5P_DEFAULT');
new_h5 = H5G.create(new_h5,'second','H5P_DEFAULT','H5P_DEFAULT','H5P_DEFAULT');
datatype = H5T.create('H5T_compound',20);
H5T.insert(datatype,'first_element',0,'H5T_NATIVE_INT');
H5T.insert(datatype,'second_element',4,'H5T_NATIVE_DOUBLE');
H5T.insert(datatype,'third_element',12,'H5T_NATIVE_DOUBLE');
dims = fliplr(size(data_matrix)); dims = [1 dims(1,2)];
new_h5 = H5D.create(new_h5,'location',datatype,H5S.create_simple(2,dims,dims),'H5P_DEFAULT'); 
H5D.write(new_h5,'H5ML_DEFAULT','H5S_ALL','H5S_ALL','H5P_DEFAULT',data_structure);

data_matrix 是一个包含所有数据的 15x250 矩阵,data_structure 是一个包含 15 个字段的结构,每个字段的大小为 250x1。

【讨论】:

以上是关于通过MATLAB将矩阵数据写入HDF5文件中的每个数据类型成员的主要内容,如果未能解决你的问题,请参考以下文章

如何将 Pandas 数据框写入 HDF5 数据集

matlab中怎样将数据导入导出?

如何将matlab 中的数据写入现有的word 表格中?

怎样将matlab中所有数据导出

怎样将matlab中所有数据导出

将 hdf5 matlab 字符串加载到 Python 中