我有一个大小为13000 * 300000的数组,填充0到255之间的整数.我想将它们的数据类型从整数更改为float,就好像数据是一个numpy数组:
data.astype('float')
在将其数据类型从整数更改为float时,它会显示内存错误.我有80 GB的RAM.它仍然显示内存错误.你能告诉我它是什么原因吗?
最佳答案 这里的问题是数据量很大(大约30GB的顺序数据,见
How much memory in numpy array?),因此在尝试将数据放入内存时会导致错误.而不是整体操作,切片,然后执行操作,然后合并,如:
n = 300000
d1 = data[:, :n/2].astype('float')
d2 = data[:, n/2:].astype('float')
data = np.hstack(d1, d2)
通常,由于您的数据大小如此笨重,因此请考虑将其部分使用以避免一直被这些问题所困扰(有关此技术和其他技术,请参阅Techniques for working with large Numpy arrays?).