配置和使用S3外部表

关于S3协议URL

对于s3协议，用户需要在CREATE EXTERNAL TABLE命令的LOCATION子句中指定文件的位置以及一个可选的配置文件位置。下面是语法：

's3://S3_endpoint[:port]/bucket_name/[S3_prefix] [region=S3_region] [config=config_file_location]'

s3协议要求指定S3端点和S3桶名。Greenplum数据库的每一个Segment实例必须能够访问该S3位置。可选的S3_prefix值被用来选择只读S3表的文件，或者被用作向S3可写表上传数据时的文件名前缀。

要在LOCATION子句中指定一个ECS端点（一种Amazon S3的兼容服务），用户必须把s3 配置文件参数version设置为2。version 参数控制 region参数是否被用在 LOCATION子句中。当version参数是2的时候，用户还可以指定一个Amazon S3位置。有关 version参数更多信息, 参考S3协议的配置文件。

对于可写的S3表，s3协议的URL指定Greenplum数据库为该表上传数据文件的端点和桶名。对于上传文件的S3用户ID，该S3桶的权限必须是Upload/Delete。对于每一个由于向表中插入数据形成的新的上传文件，都会使用这个S3文件前缀。见关于S3数据文件。

对于只读的S3表，S3文件前缀是可选的。如果用户指定了一个 S3_prefix，那么s3协议会选择所有以该前缀开始的文件作为该外部表的数据文件。 s3协议不使用斜线字符 (/) 作为定界符，因此跟在前缀后面的一个斜线字符会被当做该前缀本身的一部分。

例如，考虑下面的5个文件，其中的每一个都有名为s3-us-west-2.amazonaws.com的 S3_endpoint以及bucket_name。 test1:

s3://s3-us-west-2.amazonaws.com/test1/abc
s3://s3-us-west-2.amazonaws.com/test1/abc/
s3://s3-us-west-2.amazonaws.com/test1/abc/xx
s3://s3-us-west-2.amazonaws.com/test1/abcdef
s3://s3-us-west-2.amazonaws.com/test1/abcdefff

• 如果提供的S3 URL是 s3://s3-us-west-2.amazonaws.com/test1/abc，那么 abc前缀会选择全部的5个文件。
• 如果提供的S3 URL是 s3://s3-us-west-2.amazonaws.com/test1/abc/，那么 abc/前缀选择文件 s3://s3-us-west-2.amazonaws.com/test1/abc/ 以及 s3://s3-us-west-2.amazonaws.com/test1/abc/xx。
• 如果提供的S3 URL是 s3://s3-us-west-2.amazonaws.com/test1/abcd，那么 abcd前缀选择文件 s3://s3-us-west-2.amazonaws.com/test1/abcdef 以及 s3://s3-us-west-2.amazonaws.com/test1/abcdefff

S3_prefix中不支持通配符字符。不过，S3前缀本来的功能就好像其后有一个通配符一样。

被S3 URL (S3_endpoint/bucket_name/S3_prefix)选中的所有文件都会被用作外部表的来源，因此它们必须有同样的格式。每个文件还必须包含有完整的数据行。一个数据行不能跨文件存在。对于访问这些S3文件的S3用户ID，文件的权限必须是 Open/Download和View。

有关Amazon S3端点的信息请见http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region。有关S3桶和文件夹的信息请见Amazon S3的文档https://aws.amazon.com/documentation/s3/。有关S3文件前缀的信息请见Amazon S3的文档Listing Keys Hierarchically Using a Prefix and Delimiter.

config参数指定所需的 s3协议配置文件的位置，该文件包含AWS连接证书和通信参数。见 关于S3协议的配置参数.

关于S3数据文件

对于可写的S3表，用户可以配置Segment上传文件用的缓冲区尺寸以及线程数量。见S3协议的配置文件。

对于只读的S3表，所有通过S3的文件位置（S3_endpoint/bucket_name/S3_prefix）指定的文件都被用作该外部表的来源并且都必须具有相同的格式。每个文件还必须包含有完整的数据行。如果这些文件含有一个可选的头部行，头部行中的列名不能包含新行字符（\n) 以及回车（\r)。 另外，列定界符也不能是新行字符(\n) 或回车 (\r)。

s3协议可以识别gzip格式并且解压这类文件。只支持gzip压缩格式。

对于访问这些S3文件的S3用户ID，文件的权限必须是Open/Download和View 。可写的S3表要求该S3用户ID具有Upload/Delete权限。

对于只读的S3表，每一个Segment一次可以从S3位置使用几个线程下载一个文件。为了利用Greenplum数据库的Segment所执行的并行处理，S3位置中的文件应该在尺寸上相似并且文件的数量应该允许多个Segment从S3位置下载数据。例如，如果Greenplum数据库系统由16个Segment组成并且有充足的网络带宽，在S3位置中创建16个文件允许每个Segment从该S3位置下载一个文件。相反，如果如果该位置只包含1个或者2个文件，就只有1个或者2个Segment能下载数据。

s3协议的AWS服务端加密支持

Greenplum数据库支持用可读和可写外部表（用s3协议创建）访问的AWS S3文件进行服务端加密，服务端加密使用Amazon的S3-managed密钥（SSE-S3）。SSE-S3在用户的对象数据被写入到磁盘时对它们加密，并且在用户访问它们时透明地解密。

用户的S3 accessid 和 secret权限掌管着用户对所有S3桶对象的访问，不管该数据是否被加密。但是，为了访问加密数据，用户必须配置用户的客户端使用S3-managed密钥。

有关AWS服务端加密的额外信息，请参考AWS文档中的使用服务端加密保护数据。

server_side_encryption = sse-s3

s3协议代理支持

您可以指定一个URL，该URL是S3用于连接数据源的代理。 S3支持以下协议：HTTP和HTTPS。 您可以使用s3协议配置参数代理或环境变量指定代理。 如果设置了配置参数，则忽略环境变量。

必须设置环境变量，并且必须可以在所有Greenplum数据库主机上访问Greenplum数据库。

有关配置参数proxy的更多信息，请参考s3协议配置文件S3协议的配置文件。

关于S3协议的配置参数

可选的config参数指定所需的 s3协议配置文件的位置。该文件包含Amazon Web Services (AWS) 的连接证书和通信参数。有关该文件的信息请见S3协议的配置文件。

gpseg_data_dir/gpseg_prefixN/s3/s3.conf

gpseg_data_dir是该Greenplum数据库Segment的数据目录路径，gpseg_prefix是该Segment的前缀，而 N是该Segment的ID。Segment的数据目录、前缀还有ID都是在初始化一个Greenplum数据库系统时被设置好的。

如果在Segment主机上有多个Segment实例，用户可以通过在每个Segment主机上创建一个位置来简化配置。 然后用户可以在s3协议的LOCATION子句中的config参数中指定该位置的绝对路径。这个例子指定了一个位于gpadmin主目录中的位置。

LOCATION ('s3://s3-us-west-2.amazonaws.com/test/my_data config=/home/gpadmin/s3.conf')

该主机上的所有Segment实例都会使用文件 /home/gpadmin/s3.conf。

S3协议的配置文件

gpseg_data_dir/gpseg-prefixN/s3/s3.conf

gpseg_data_dir是该Greenplum数据库Segment的数据目录路径，gpseg-prefix 是该Segment的前缀，而 N是该Segment的ID。Segment的数据目录、前缀还有ID都是在初始化一个Greenplum数据库系统时被设置好的。

如果在Segment主机上有多个Segment实例，用户可以通过在每个Segment主机上创建一个位置来简化配置。 然后用户可以在s3协议的LOCATION子句中的config 参数中指定该位置的绝对路径。不过，注意只读和可写S3外部表使用相同的参数进行连接。如果用户想为只读和可写S3表配置不同的协议参数，那么用户必须使用两个不同的s3协议配置文件并且在创建每个表时在CREATE EXTERNAL TABLE语句中指定正确的文件。

这个例子指定一个单一文件位置，它位于gpadmin主目录的的s3 目录中：

config=/home/gpadmin/s3/s3.conf

主机上的所有Segment实例都使用文件 /home/gpadmin/s3/s3.conf。

[default]
secret = "secret"
accessid = "user access id"
threadnum = 3
chunksize = 67108864

可以使用Greenplum数据库的gpcheckcloud工具来测试S3配置文件。见使用gpcheckcloud工具.

S3协议的限制

使用gpcheckcloud工具

Greenplum数据库的工具gpcheckcloud帮助用户创建一个s3 协议配置文件并且测试一个配置文件。用户可以用指定选项来测试用一个配置文件访问S3桶的能力，并且可以选择对该桶中的文件上传或者下载数据。

如果不用任何选项运行该工具，它会发送一个模板配置文件到STDOUT。用户可以捕捉该输出并且创建一个连接到Amazon S3的s3配置文件。

该工具被安装在Greenplum数据库的 $GPHOME/bin目录中。

gpcheckcloud {-c | -d} "s3://S3_endpoint/bucketname/[S3_prefix] [config=path_to_config_file]"

gpcheckcloud -u <file_to_upload> "s3://S3_endpoint/bucketname/[S3_prefix] [config=path_to_config_file]"
gpcheckcloud -t

gpcheckcloud -h

-c

s3协议URL中指定的配置连接到指定的S3位置并且返回其中的文件信息。

如果连接失败，该工具显示关于失败的信息，例如非法的证书、前缀或者服务器地址（DNS错误）或服务器不可用。

-d

用s3协议URL中指定的配置从指定的S3位置下载数据并且把输出发送到 STDOUT。

如果文件被gzip压缩过，解压后的数据会被发送到 STDOUT。

-u

使用指定的配置文件（如果有）上传一个文件到s3协议URL中指定的S3桶中。使用这个选项可以测试压缩和配置中的chunksize 和 autocompress 设置。

-t

发送一个模板配置文件到STDOUT。用户可以捕捉该输出并且创建一个连接到Amazon S3的s3配置文件。

-h

显示gpcheckcloud帮助。

例子

gpcheckcloud -t > ./mytest_s3.config

gpcheckcloud -u ./test-data.csv "s3://s3-us-west-2.amazonaws.com/test1/abc config=s3.mytestconf"

一次成功的上传会导致在S3桶中出现一个或者更多个以文件名格式 abc<segment_id><random>.data[.gz]命名的文件。见关于S3数据文件。

gpcheckcloud -c "s3://s3-us-west-2.amazonaws.com/test1/abc config=s3.mytestconf"

gpcheckcloud -d "s3://s3-us-west-2.amazonaws.com/test1/abc config=s3.mytestconf"