关于访问S3对象存储

PXF安装了与S3对象库的连接器。PXF通过此连接器支持以下其他运行时特性:

  • 通过在CREATE EXTERNAL TABLE命令DDL中提供它们来覆盖服务器配置中指定的S3凭据。
  • 使用Amazon S3 Select服务从S3读取某些CSV和Parquet数据。

用DDL覆盖S3服务器配置

如果您访问兼容S3的对象库, 可以通过 CREATE EXTERNAL TABLE LOCATION 子句中的以下自定义选项直接指定S3访问ID和密钥,从而覆盖S3服务配置:

自定义选项 值描述
accesskey AWS账户访问密钥ID
secretkey 与AWS访问密钥ID关联的密钥

例如:

CREATE EXTERNAL TABLE pxf_ext_tbl(name text, orders int)
  LOCATION ('pxf://S3_BUCKET/dir/file.txt?PROFILE=s3:text&SERVER=s3srvcfg&accesskey=YOURKEY&secretkey=YOURSECRET')
FORMAT 'TEXT' (delimiter=E',');

已这种方式提供的凭据在外部表定义中可见。不要在生产环境中使用这种传递凭据的方法。

PXF目前不支持以这种方式覆盖Azure,Google Cloud Storage和Minio服务器凭据。

有关PXF用于获取Greenplum数据库用户的配置属性设置的优先级规则的详细信息,请参考配置属性优先级

使用Amazon S3 Select服务

请参阅使用S3 Select从S3读取CSV和Parquet数据,了解有关PXF如何使用Amazon S3 Select服务读取S3上存储的CSV和Parquet文件的特定信息。