Google Appengine JAVA – 在Blobstore中保存大量图片

2023年2月26日 134次阅读

我开发了一个简单的媒体库,您可以在其中选择一组图像并下载它们.

当客户端请求下载时,servlet接收用于创建zip文件的blob密钥,然后为该过程启动任务

该任务迭代接收到的blob键并将图像压缩到存档中.当任务完成后,将下载链接的邮件发送给用户.

这是我的问题：

FileWriteChannel writeChannel = fileService.openWriteChannel(file, lock);
OutputStream blobOutputStream = Channels.newOutputStream(writeChannel);
ZipOutputStream zip = new ZipOutputStream(blobOutputStream);

单个通道只能处理这个字节数

BlobstoreService.MAX_BLOB_FETCH_SIZE

因此,我必须每1mb的数据打开和关闭通道我必须写(相同的读取问题,但读取我使用this code,它的工作原理).或者write()方法抛出一个null异常

使用普通outputStream打开和关闭通道不会出现问题,如this code

但是处理Zip文件我也必须管理

ZipOutputStream zip = new ZipOutputStream(blobOutputStream);   
ZipEntry zipEntry = new ZipEntry(image_file_name);
zipOut.putNextEntry(zipEntry);
// while the image has bytes to write
   zipOut.write(bytesToWrite);

在ZipEntry中写入1MB数据后,我必须关闭频道并再次打开它.

所以这里的问题是：我打开一个新的频道我无法访问我正在写的prevouse zipEntry然后我不能继续写下我正在处理的1MB图像.

并且,在打开一个新频道后,如果我尝试写入zipEntry对象(没有重新初始化它),我会得到一个ClosedChannel异常

Here是我写的SAMPLE代码,我知道它不起作用,但解释了我想要做的事情.

我的问题是：如何(如果可能,当然)我可以创建一个每次写1MB的zip文件？

我也可以使用其他方法,我需要的是将一些图像压缩成一个zip并将其保存到blobstore中,如果你有其他想法可以做到这一点,请告诉我

最佳答案 您应该创建自己的流,可以操纵渠道.达到blob大小限制后,您的流将关闭当前通道并打开一个新通道.

本地文件的示例：

public class ZipChannels {
public static void main(String[] args) throws IOException {
    File dirToZip = new File("target\\dependency");

    //create zip-files
    ChannelOutput out = new ChannelOutput();
    ZipOutputStream zip = new ZipOutputStream(out);
    int b = 0;
    for(File file: dirToZip.listFiles()) {
        ZipEntry zipEntry = new ZipEntry(file.getName());
        zip.putNextEntry(zipEntry);
        BufferedInputStream bis = new BufferedInputStream(new FileInputStream(file));
        while((b = bis.read()) != -1) {
            zip.write(b);
        }
        bis.close();
        zip.closeEntry();
    }
    zip.close();

    //merge all into one file for check it
    BufferedOutputStream bos = new BufferedOutputStream(new FileOutputStream("package_all.zip"));
    for (int i = 0; i < out.getChannelCount(); i++) {
        BufferedInputStream bis = new BufferedInputStream(new FileInputStream("package_" + i + ".zip"));
        while((b = bis.read()) != -1) {
            bos.write(b);
        }
        bis.close();
    }
    bos.close();
}

public static class ChannelOutput extends OutputStream {
    private OutputStream channel;
    private int count = 0;
    final private int MAX = 1000000;

    @Override
    public void write(int b) throws IOException {
        if(count++ % MAX == 0) {
            openNewChannel();
        }
        channel.write(b);
    }

    protected void openNewChannel() throws IOException {
        if(channel != null) {
            channel.close();
        }
        channel = new BufferedOutputStream(new FileOutputStream("package_" + (count / MAX) + ".zip")); 
    }
    public int getChannelCount() {
        return count / MAX + 1;
    }

    @Override
    public void close() throws IOException {
        channel.close();
    }
    @Override
    public void flush() throws IOException {
        channel.flush();
    }
}
}

如果您有任何疑问,请随时提出.

点赞