我在C中有一个例子,我试图使用h5py重现,但它没有按预期工作.我正在使用h5py获取空填充字符串,我希望空终止字符串.
这是我的C驱动程序……
main.cpp中
#include <hdf5.h>
int main(void) {
auto file = H5Fcreate("test-c.h5", H5F_ACC_TRUNC,
H5P_DEFAULT, H5P_DEFAULT);
char strings[5][64] = {
"please work 0",
"please work 1",
"please work 2",
"please work 3",
"please work 4"};
auto H5T_C_S1_64 = H5Tcopy (H5T_C_S1);
H5Tset_size(H5T_C_S1_64, 64);
hsize_t dims[1] = {5};
auto dataspace = H5Screate_simple(1, dims, NULL);
auto dataset = H5Dcreate(file, "test dataset", H5T_C_S1_64, dataspace,
H5P_DEFAULT, H5P_DEFAULT, H5P_DEFAULT);
H5Dwrite (dataset, H5T_C_S1_64, H5S_ALL, H5S_ALL, H5P_DEFAULT, strings);
H5Dclose(dataset);
H5Sclose(dataspace);
H5Tclose(H5T_C_S1_64);
H5Fclose(file);
return 0;
}
我使用以下SCons脚本构建的.
SConstruct
env = Environment()
env.Append(LIBS=['hdf5'],
CPPFLAGS=['-std=c++11'])
env.Program('writeh5', 'main.cpp')
这是我的python脚本,我试图写出相同的hdf5文件.
main.py
import h5py
hdf5 = h5py.File('test-p.h5', 'w')
H5T_C_S1_64 = h5py.h5t.C_S1.copy()
H5T_C_S1_64.set_size(64)
print "Null Terminated String: %s" % (
H5T_C_S1_64.get_strpad() == h5py.h5t.STR_NULLTERM)
dataset = hdf5.create_dataset('test dataset', (5,),
data=['please work %s' % n for n in xrange(5)],
dtype=H5T_C_S1_64)
hdf5.close()
我正在使用python v2.7.11,我用h5py v2.5.0和v2.6.0尝试了这个,结果如下.
>> python --version
Python 2.7.11
>> python -c "import h5py; print h5py.version.version"
2.5.0
>> tree
.
├── main.cpp
├── main.py
└── SConstruct
0 directories, 3 files
>> scons
scons: Reading SConscript files ...
scons: done reading SConscript files.
scons: Building targets ...
g++ -o main.o -c -std=c++11 main.cpp
g++ -o writeh5 main.o -lhdf5
scons: done building targets.
>> tree
.
├── main.cpp
├── main.o
├── main.py
├── SConstruct
└── writeh5
0 directories, 5 files
>> ./writeh5
>> tree
.
├── main.cpp
├── main.o
├── main.py
├── SConstruct
├── test-c.h5
└── writeh5
0 directories, 6 files
>> python main.py
Null Terminated String: True
>> tree
.
├── main.cpp
├── main.o
├── main.py
├── SConstruct
├── test-c.h5
├── test-p.h5
└── writeh5
0 directories, 7 files
>> h5dump test-c.h5
HDF5 "test-c.h5" {
GROUP "/" {
DATASET "test dataset" {
DATATYPE H5T_STRING {
STRSIZE 64;
STRPAD H5T_STR_NULLTERM;
CSET H5T_CSET_ASCII;
CTYPE H5T_C_S1;
}
DATASPACE SIMPLE { ( 5 ) / ( 5 ) }
DATA {
(0): "please work 0", "please work 1", "please work 2",
(3): "please work 3", "please work 4"
}
}
}
}
>> h5dump test-p.h5
HDF5 "test-p.h5" {
GROUP "/" {
DATASET "test dataset" {
DATATYPE H5T_STRING {
STRSIZE 64;
STRPAD H5T_STR_NULLPAD;
CSET H5T_CSET_ASCII;
CTYPE H5T_C_S1;
}
DATASPACE SIMPLE { ( 5 ) / ( 5 ) }
DATA {
(0): "please work 0\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000",
(1): "please work 1\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000",
(2): "please work 2\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000",
(3): "please work 3\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000",
(4): "please work 4\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000\000"
}
}
}
}
正如您在上面的输出中所看到的,当使用h5py时,我仍然使用空填充的固定长度字符串,即使我指定我想要空终止的固定长度字符串.
那么如何修改我的python脚本以结束数据集中的空终止固定长度字符串？如果它是h5py中的错误,是否有任何变通方法？
在此先感谢您的帮助.
最佳答案 编辑：找到的解决方案适用于下面的’vanilla’h5py
在h5py源代码中有以下cython code：
cdef TypeStringID _c_string(dtype dt):
# Strings (fixed-length)
cdef hid_t tid
tid = H5Tcopy(H5T_C_S1)
H5Tset_size(tid, dt.itemsize)
H5Tset_strpad(tid, H5T_STR_NULLPAD)
return TypeStringID(tid)
我不完全确定它的作用.但是,在注释掉H5Tset_strpad(tid,H5T_STR_NULLPAD)并编译库的行后,问题似乎已解决,而python2 setup.py测试未报告任何意外的失败测试.它是唯一一个不在可变长度字符串的上下文中引用H5T_C_S1的函数.看起来有点像个bug.
因此,一种(hacky)方法是在脚本目录中执行以下命令.
$https://github.com/h5py/h5py h5py-source
$mkdir fake-root
$sed -i '/H5Tset_strpad(tid, H5T_STR_NULLPAD)/d' h5py-source/h5py/h5t.pyx
$(cd h5py-source; python2 setup.py install --root fake-root)
$mv fake-root/usr/lib/python2.7/site-packages/h5py .
然后,在导入h5py时,本地目录中的h5py将覆盖系统范围内安装的版本.您可能更擅长在用户站点包,虚拟环境中使用安装或打开问题.
请注意,应用此修复程序可能会以意想不到的方式破坏事物(我之前从未使用过hdf5,也不知道这可能会产生什么影响).真正的解决方案可能涉及从dt加载strpad.
编辑
我做了一些研究：
documentation仅列出3种支持的字符串,零填充固定长度字符串和两种不同类型的可变长度字符串.没有提到零终止字符串.所以看起来h5py public api不支持空终止字符串(即使代码中提到了null c字符串).
接下来,dtype参数应该是有效的numpy dtype.没有明确提到对H5T的支持.但是,某种程度上H5T类型仍被解释为字符串.更改填充不会更改TypeStringID中收到的dtype的任何属性.
numpy dtype到h5t类型的转换发生在dataset.py:736中：
if isinstance(dtype, Datatype):
# Named types are used as-is
tid = dtype.id
dtype = tid.dtype # Following code needs this
else:
# Validate dtype
if dtype is None and data is None:
dtype = numpy.dtype("=f4")
elif dtype is None and data is not None:
dtype = data.dtype
else:
dtype = numpy.dtype(dtype)
tid = h5t.py_create(dtype, logical=1)
其中numpy.dtype(H5T_C_S1)给出了一个带有kind =’S’的dtype.
接下来,对h5t.py_create(dtype,logical = 1)的调用将其调度到上面的_c_string(dt).因此修复确实会破坏事物,因为所有固定长度的字符串最终都会被终止.
但是,这也显示出更好的解决方案.通过从H5T tid构造一个dtype,我们可以绕过numpy.dtype转换.
此代码适用于vanilla h5py安装：
import h5py
hdf5 = h5py.File('test-p.h5', 'w')
tid = h5py.h5t.C_S1.copy()
tid.set_size(64)
H5T_C_S1_64 = h5py.Datatype(tid)
dataset = hdf5.create_dataset('test dataset', (5,),
data=['please work %s' % n for n in range(5)],
dtype=H5T_C_S1_64)
hdf5.close()
这也允许您使用任何您想要的填充方案. Howerver,我找不到它的文档,所以api将来可能会改变.
