hadoop – 你如何在aws us-east-2上使用s3a和spark 2.1.0？

2019年7月28日 332次阅读

背景

我一直致力于为自己设置灵活的设置,以便在使用docker swarm模式的aws上使用spark.我一直使用的docker镜像被配置为使用最新的spark,当时的Hadoop 2.7.3为2.1.0,可在jupyter/pyspark-notebook获得.

这是有效的,我一直在测试我计划使用的各种连接路径.我遇到的问题是围绕与s3交互的正确方式的不确定性.我已经跟踪了如何使用s3a协议与s3n协议提供连接到aws s3上的数据的spark的依赖关系.

我终于遇到了hadoop aws guide,并认为我正在关注如何提供配置.但是,我仍然收到400错误请求错误,如this question所示,它描述了如何通过定义端点来修复它,我已经完成了.

我最终离开标准配置太远了,因为我在东方2上,让我不确定我是否有jar文件的问题.为了消除区域问题,我在常规的us-east-1区域重新设置了东西,并且最终能够与s3a连接.所以我把问题缩小到了该地区,但我认为我正在做其他地区所需的一切.

题

在spark中使用hadoop的配置变量使用us-east-2的正确方法是什么？

注意：此示例使用本地执行模式来简化操作.

import os
import pyspark

在创建上下文后,我可以在控制台中看到这些下载的笔记本,并添加这些使我完全被破坏,以获得错误请求错误.

os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.amazonaws:aws-java-sdk:1.7.4,org.apache.hadoop:hadoop-aws:2.7.3 pyspark-shell'

conf = pyspark.SparkConf('local[1]')
sc = pyspark.SparkContext(conf=conf)
sql = pyspark.SQLContext(sc)

对于aws配置,我尝试了下面的方法,只使用上面的conf,并做了conf.set(spark.hadoop.fs.< config_string>,< config_value>)模式,相当于我在下面做的,除了这样做是我在创建spark上下文之前在conf上设置值.

hadoop_conf = sc._jsc.hadoopConfiguration()

hadoop_conf.set("fs.s3.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
hadoop_conf.set("fs.s3a.endpoint", "s3.us-east-2.amazonaws.com")
hadoop_conf.set("fs.s3a.access.key", access_id)
hadoop_conf.set("fs.s3a.secret.key", access_key)

有一点需要注意的是,我还为s3-us-east-2.amazonaws.com的us-east-2尝试了另一个端点.

然后我读了s3的一些镶木地板数据.

df = sql.read.parquet('s3a://bucket-name/parquet-data-name')
df.limit(10).toPandas()

再次,在将EC2实例移动到us-east-1并注释掉端点配置之后,上面的工作对我来说很有用.对我来说,似乎端点配置由于某种原因没有被使用.

最佳答案 us-east-2是V4 auth S3实例,因此,在您尝试时,必须设置fs.s3a.endpoint值.

如果它没有被拿起,那么假设您正在设置的配置不是用于访问存储桶的配置.知道Hadoop通过URI缓存文件系统实例,即使配置发生变化也是如此.第一次尝试访问文件系统修复了配置,即使它缺少auth细节.

一些策略

>设置值为spark-defaults
>使用您刚刚创建的配置,尝试通过调用Filesystem.get显式加载文件系统(新URI(“s3a：// bucket-name / parquet-data-name”,myConf)将返回桶该配置(除非它已经存在).我不知道如何在.py中进行该调用.
>将属性“fs.s3a.impl.disable.cache”设置为true以在get命令之前绕过缓存

在BadAuth错误上添加更多诊断以及维基页面是S3A第三阶段列出的功能.如果您要添加它以及测试,我可以查看并获取它

点赞