python – 为Google Cloud Machine Learning项目存储图像的最佳方式?

我正在使用带有Tensorflow和Keras的Google Cloud Platform运行机器学习项目.我的数据集中有大约30,000个PNG图像.当我在本地运行它时,Keras具有很好的实用程序来加载图像,但是Google Cloud Services需要使用某些库,例如tensorflow.file_io(请参阅:
Load numpy array in google-cloud-ml job),以便从GC存储桶中读取文件.

从Google云端存储分区加载图像的最佳方法是什么?现在我将它们保存为字节并从一个文件中读取它们,但是能够直接从GC存储桶加载图像会很棒.

谢谢,

最佳答案 这篇文章可能有帮助.

Tensorflow multithreading image loading

它使用新的tf.data.Dataset API以高效的方式直接加载图像.因此,您可以存储单个文件而不是单个文件…尽管可能单个文件可能会提供更好的性能,如果您使用类似于每个记录包含图像的TFRecord文件.

希望有所帮助!

点赞