目前我只使用AWS Data Pipeline将数据从Amazon S3复制到Amazon Redshift,仅用于当前日期和时间.我想每30分钟将数据从S3复制到Redshift.最后处理的S3文件名也存储在另一个Redshift表中.

有人可以回答这个问题吗？

最佳答案 您可以使用
RedshiftCopyActivity data pipeline object来完成此操作. RedshiftCopyActivity对象中的schedule字段接受可以30分钟间隔运行的
data pipeline schedule object.您需要定义包含所有AWS资源信息的
full pipeline in JSON(Redshift数据节点,EC2实例,S3存储桶和密钥). JSON模板中源数据文件的文件路径可以指向静态文件,该文件每30分钟被生成数据的任何内容覆盖.