amazon-s3 – 从AWS S3转移到Google-Cloud-Storage“UNKNOWN”失败

我正在使用GCS Web仪表板/控制台中提供的传输工具来安排从S3到GCS的备份文件的副本.

在GCS传输日志中,它显示“未知:(显示241个故障中的5个)”.该故障列表中显示的文件没有任何不同.每次计划的转移都会失败相同的241个文件.有什么地方我可以收到实际的错误消息吗?

我已经检查过:

>在这些失败之前和之后成功复制了超过150万个其他文件.即这些故障不在转移列表的开头或结尾,也不是顺序的.
>文件大小不是太大.失败传输的大小范围从100KB到7MB.
>文件名允许使用特殊字符,例如_ – 空格,这些字符存在于失败的传输和成功传输中.
>失败的文件与成功传输的文件具有完全相同的权限.
>传输中使用的IAM用户的策略将所有操作授予S3存储桶.
>使用相同的访问令牌和s3cmd的秘密确认IAM策略.
>检查S3访问日志以获取更多信息/错误…显示成功传输和传输失败的http 206状态. (不是我预期的http状态,但成功和失败的传输也是如此)

最佳答案 有一些事情可能导致UNKNOWN错误.有些是服务中的瞬态问题(在这种情况下,您应该重新运行转移 – 第二次只复制新的/更改的对象).

在其他情况下,它可能是源对象中的怪癖.例如,服务将拒绝没有符合RFC 1341的Content-Type的对象.特别是,它需要匹配模式/,以及其他限制.见What are all the possible values for HTTP “Content-Type” header?

点赞