python – gzip引发OverflowError：Size不适合unsigned int

2019年7月27日 305次阅读

环境： Windows, Python 3.4.1,64位版本.

我试图用pickle和gzip保存数据,就像这样：

with gzip.open(filename, 'rb') as f:
    pickle.dump(data,f)

可以在没有gzip的情况下成功转储数据,但是使用gzip,异常引发为：

File "C:\Python34\lib\gzip.py", line 344, in write
  self.fileobj.write( self.compress.compress(data) )
OverflowError: Size does not fit in an unsigned int

我追溯了代码,发现gzip实际上是基于zlib构建的.在谷歌搜索这个问题之后,我遇到了这个页面http://bugs.python.org/file32715/zlib_64bit-4.patch.似乎强加了unsigned int类型的长度限制.

所以,我的问题是,有没有办法弥补这个错误或传递它？

最佳答案 您可以尝试将gzip文件包装在编写器中,该编写器将数据拆分为给定最大大小的块.这是一个草图：

class ChunkedWriter(object):
    def __init__(self, file, chunksize=65536):
        self.file = file
        self.chunksize = chunksize

    def write(self, data):
        mdata = memoryview(data)
        for i in range(0, len(mdata), self.chunksize):
            self.file.write(bytes(mdata[i:i+self.chunksize]))

我不确定这是否会真正解决您的问题,因为我无法在自己的计算机上重现它.

点赞