有没有办法直接从基于avro架构的镶木地板文件在Amazon Athena中创建表？模式被编码到文件中,因此我看起来很愚蠢,我需要自己实际创建DDL.

我看到this和另一个duplication

但它们与Hive直接相关,它不适用于雅典娜.
理想情况下,我正在寻找一种以编程方式执行此操作的方法,而无需在控制台上进行定义.

最佳答案 现在使用
AWS Glue或多或少可以实现这一点.胶水可以抓取一堆不同的数据源,包括
Parquet files on S3.发现的表格被添加到Glue数据目录中,可以从Athena查询.根据您的需要,您可以安排Glue爬虫定期运行,或者您可以使用Glue API定义和运行爬虫.

如果您有许多共享模式的独立数据,您还可以使用partitioned table来减少为Athena提供新负载的开销.例如,我有一些每日转储加载到按日期分区的表中.只要架构没有改变,您需要做的就是MSCK REPAIR TABLE.