在PL/Container 1.2.0及更高版本中，您可以使用Greenplum数据库资源组来管理和限制PL/Container runtime中容器的总CPU和内存资源。 有关启用，配置和使用Greenplum数据库资源组的更多信息， 请参阅Greenplum数据库管理员指南中的使用资源组。

外部组件（如PL/Container）的资源组使用Linux控制组（cgroup）来管理组件级内存和CPU资源的使用。 使用资源组管理PL/Container资源时，可以配置Greenplum数据库应用于共享相同PL/Container runtime配置的所有容器实例的内存限制和CPU限制。

CREATE RESOURCE GROUP plpy_run1_rg WITH (MEMORY_AUDITOR=cgroup, CONCURRENCY=0,
     CPU_RATE_LIMIT=10, MEMORY_LIMIT=10);

PL/Container不使用MEMORY_SHARED_QUOTA和MEMORY_SPILL_RATIO资源组内存限制。 有关此SQL命令的详细信息，请参阅CREATE RESOURCE GROUP参考页。

SELECT groupname, groupid FROM gp_toolkit.gp_resgroup_config
     WHERE groupname='plpy_run1_rg';

  groupname   |  groupid  
--------------+----------
 plpy_run1_rg |   16391
(1 row)

plcontainer runtime-add -r python_run1 -i pivotaldata/plcontainer_python_shared:devel -l python -s resource_group_id=16391

您还可以使用plcontainer runtime-edit命令将资源组分配给PL/Container runtime。 有关plcontainer命令的信息，请参阅plcontainer实用程序。

将资源组分配给PL/Container runtime后，共享相同runtime配置的所有容器实例都受为组配置的内存和CPU的限制。 如果减小PL/Container资源组的内存限制，则在组内运行容器中执行的查询可能会因内存不足而失败。 如果在运行容器实例时删除PL/Container资源组，Greenplum数据库会终止正在运行的容器。

要使用Greenplum数据库资源组来管理PL/Container资源，必须显式配置资源组和PL/Container。

PL/Container语言扩展可用作开源模块。 有关构建和安装作为Greenplum数据库的一部分的模块信息， 请参阅位于https://github.com/greenplum-db/plcontainer的GitHub存储库中的README文件。

在Greenplum数据库主机上，卸载不再需要的Docker容器和镜像。

plcontainer image-list命令列出了安装在本地Greenplum数据库主机上的Docker镜像。

plcontainer image-delete命令从所有Greenplum数据库主机中删除指定的Docker镜像。

对于不再需要PL/Container的数据库，请删除对PL/Container的支持。

psql -d mytest -c 'DROP EXTENSION plcontainer cascade;'

psql -d mytest -f $GPHOME/share/postgresql/plcontainer/plcontainer_uninstall.sql

示例的# container行中的值plc_python_shared和plc_r_shared是plcontainer_config.xml文件中定义的id XML元素。 id元素映射到指定要启动的Docker镜像的image元素。 如果您使用不同的ID配置PL/Container，请更改# container行的值。 有关配置PL/Container和查看配置设置的信息，请参阅配置PL/Container。

CREATE OR REPLACE FUNCTION pylog100() RETURNS double precision AS $$
# container: plc_python_shared
import math
return math.log10(100)
$$ LANGUAGE plcontainer;

CREATE OR REPLACE FUNCTION rlog100() RETURNS text AS $$
# container: plc_r_shared
return(log10(100))
$$ LANGUAGE plcontainer;

如果UDF中的# container行指定了不在PL/Container配置文件中的ID， 则当您尝试执行UDF时，Greenplum数据库会返回错误。

plcontainer实用程序安装Docker镜像并管理PL/Container配置。 该实用程序包含两组命令。

• image-*命令管理Greenplum数据库系统主机上的Docker镜像。
• runtime-*命令管理Greenplum数据库实例上的PL/Container配置文件。 您可以将Docker镜像信息添加到PL/Container配置文件，包括镜像名称，位置和共享文件夹信息。 您还可以编辑配置文件。

要将PL/Container配置为使用Docker镜像，请在所有Greenplum数据库主机上安装Docker镜像，然后将配置信息添加到PL/Container配置中。

PL/Container配置值（例如镜像名称，runtime ID，参数值和名称）区分大小写。

plcontainer [command] [-h | --help]  [--verbose]

  image-add {{-f | --file} image_file} | {{-u | --URL} image_URL}
  image-delete {-i | --image} image_name
  image-list

  runtime-add {-r | --runtime} runtime_id
     {-i | --image} image_name {-l | --language} {python | r}
     [{-v | --volume} shared_volume [{-v| --volume} shared_volume...]]
     [{-s | --setting} param=value [{-s | --setting} param=value ...]]
  runtime-replace {-r | --runtime} runtime_id
     {-i | --image} image_name -l {r | python}
     [{-v | --volume} shared_volume [{-v | --volume} shared_volume...]]
     [{-s | --setting} param=value [{-s | --setting} param=value ...]]
  runtime-show {-r | --runtime} runtime_id
  runtime-delete {-r | --runtime} runtime_id
  runtime-edit [{-e | --editor} editor]
  runtime-backup {-f | --file} config_file
  runtime-restore {-f | --file} config_file
  runtime-verify

image-add location

在Greenplum数据库主机上安装Docker镜像。 指定主机上Docker镜像文件的位置或Docker镜像的URL。 这些是受支持的位置选项。

• {-f | --file} image_file指定包含Docker镜像的主机上的tar存档文件。 此示例指向gpadmin主目录中的镜像文件 /home/gpadmin/test_image.tar.gz
• {-u | --URL} image_URL指定Docker存储库和镜像的URL。 此示例URL指向本地Docker存储库 192.168.0.1:5000/images/mytest_plc_r:devel

安装Docker镜像后，使用runtime-add命令配置PL/Container以使用Docker镜像。

image-delete {-i | --image} image_name

从所有Greenplum数据库主机中删除已安装的Docker镜像。 例如，指定包括tag的完整Docker镜像名称 pivotaldata/plcontainer_python_shared:1.0.0

image-list

列出主机上安装的Docker镜像。 该命令仅列出本地主机上的镜像，而不是远程主机。 该命令列出了所有已安装的Docker镜像，包括使用Docker命令安装的镜像。

runtime-add options

将配置信息添加到所有Greenplum数据库主机上的PL/Container配置文件中。 如果指定的runtime_id存在，则该实用程序将返回错误，并且不会添加配置信息。

关于PL/Container配置信息，参考PL/Container配置文件.

这些是支持的选项：

{-i | --image} docker-image

必须。指定Greenplum数据库主机上安装的完整Docker镜像名称，包括tag。例如 pivotaldata/plcontainer_python:1.0.0。

如果未安装指定的Docker镜像，该实用程序将返回警告。

plcontainer image-list命令显示已安装的镜像信息，包括名称和tag（存储库和tag列）。

{-l | --language} python | r

必须。指定PL/Container语言类型，支持的值是python（PL/Python）和r（PL/R）。 为runtime添加配置信息时，该实用程序会根据您指定的语言向配置添加启动命令。

Python语言的启动命令。

/clientdir/pyclient.sh

R语言的启动命令。

/clientdir/rclient.sh

{-r | --runtime} runtime_id

需要。添加runtime ID。 在PL/Container配置文件中添加runtime元素时，这是PL/Container配置文件中id元素的值。 最大长度为63字节。

在Greenplum数据库UDF# container行指定名称。参考示例。

{-s | --setting} param=value

可选的。指定要添加到runtime配置信息的设置。您可以多次指定此选项。 该设置适用于runtime_id指定的runtime配置。 该参数是PL/Container配置文件中settings元素的XML属性。这些是有效的参数。

• cpu_share - 在runtime配置中为每个容器设置CPU限制。默认值为1024。该值是CPU使用率与其他容器的相对权重。
• memory_mb - 在runtime配置中为每个容器设置内存限制。默认值为1024。该值是一个整数，指定以MB为单位的内存量。
• resource_group_id - 将指定的资源组分配给runtime配置。 资源组限制共享此runtime配置的所有容器的CPU和内存资源总使用量。 您必须指定资源组的groupid。 有关管理PL/Container资源的信息，请参阅关于PL/Container资源管理。
• roles - 指定允许为runtime配置运行容器的Greenplum数据库角色。 您可以指定单个角色名称或逗号分隔的角色名称列表。 默认值没有限制。
• use_container_logging - 启用或禁用容器的Docker日志记录。 值为yes（启用日志记录）或no（禁用日志记录，默认值）。

  Greenplum数据库服务器配置参数log_min_messages控制日志级别。 默认日志级别为warning。 有关PL/Container日志信息的信息，请参阅备注。

{-v | --volume} shared-volume

可选的。指定要绑定装载的Docker卷。您可以多次指定此选项以定义多个卷。

共享卷的格式： host-dir:container-dir:[rw|ro]。 该信息作为属性存储在PL/Container配置文件中的runtime元素的shared_directory元素中。

• host-dir - 主机系统上目录的绝对路径。 Greenplum数据库管理员用户（gpadmin）必须具有对目录的适当访问权限。
• container-dir - Docker容器中目录的绝对路径。
• [rw|ro] - 从容器访问主机目录的只读或读写权限。

为新runtime添加配置信息时，该实用程序会添加此只读共享卷信息。

greenplum-home/bin/plcontainer_clients:/clientdir:ro

如果需要，您可以指定其他共享目录。 如果指定的container-dir与实用程序添加的相同， 或者如果指定具有相同container-dir的多个共享卷，则该实用程序将返回错误。

Warning: 允许对主机目录进行读写访问需要特殊注意事项。

• 指定对主机目录的读写访问权限时，请确保指定的主机目录具有正确的权限。
• 运行PL/Container用户定义的函数时，主机上运行的多个并发Docker容器可能会更改主机目录中的数据。 确保这些函数支持对主机目录中的数据进行多个并发访问。

runtime-backup {-f | --file} config_file

将PL/Container配置文件复制到本地主机上的指定文件。

runtime-delete {-r | --runtime} runtime_id

删除所有Greenplum数据库实例上PL/Container配置文件中的runtime配置信息。 如果文件中不存在指定的runtime_id，则实用程序将返回一条消息。

runtime-edit [{-e | --editor} editor]

使用指定的编辑器编辑XML文件plcontainer_configuration.xml。 默认编辑器是vi。

保存文件会更新所有Greenplum数据库主机上的配置文件。 如果更新的文件中存在错误，该实用程序将返回错误并且不会更新该文件。

runtime-replace options

替换所有Greenplum数据库实例上的PL/Container配置文件中的runtime配置信息。 如果runtime_id不存在，则将信息添加到配置文件中。 该实用程序将启动命令和共享目录添加到配置中。

有关命令选项和添加到配置的信息，请参阅runtime-add。

runtime-restore {-f | --file} config_file

使用本地主机上指定文件的信息替换所有Greenplum数据库实例上的PL/Container配置文件plcontainer_configuration.xml中的信息。

runtime-show [{-r | --runtime} runtime_id]

显示格式化的PL/Container runtime配置信息。 如果未指定runtime_id ，则显示所有runtime标识的配置。

runtime-verify

使用master服务器上的配置信息检查Greenplum数据库实例上的PL/Container配置信息。 如果该实用程序发现不一致，系统将提示您使用本地副本替换远程副本。 该实用程序还执行XML验证。

-h | --help

显示帮助文本。如果在没有命令的情况下指定，则显示所有plcontainer命令的帮助。如果使用命令指定，则显示该命令的帮助。

--verbose

为命令启用详细日志记录。

PL/Container在所有Greenplum数据库segment的数据目录中维护配置文件plcontainer_configuration.xml。 PL/Container配置文件是XML文件。 在XML文件中，根元素configuration包含一个或多个runtime元素。 您可以在PL/Container函数定义的# container:行中指定runtime元素的id。

在XML文件中，名称（如元素和属性名称）和值区分大小写。

<?xml version="1.0" ?>
<configuration>
    <runtime>
        <id>plc_python_example1</id>
        <image>pivotaldata/plcontainer_python_with_clients:0.1</image>
        <command>./pyclient</command>
    </runtime>
    <runtime>
        <id>plc_python_example2</id>
        <image>pivotaldata/plcontainer_python_without_clients:0.1</image>
        <command>/clientdir/pyclient.sh</command>
        <shared_directory access="ro" container="/clientdir" host="/usr/local/greenplum-db/bin/plcontainer_clients"/>
        <setting memory_mb="512"/>
        <setting use_container_logging="yes"/>
        <setting cpu_share="1024"/>
        <setting resource_group_id="16391"/>
    </runtime>
    <runtime>
        <id>plc_r_example</id>
        <image>pivotaldata/plcontainer_r_without_clients:0.2</image>
        <command>/clientdir/rclient.sh</command>
        <shared_directory access="ro" container="/clientdir" host="/usr/local/greenplum-db/bin/plcontainer_clients"/>
        <setting use_container_logging="yes"/>
        <setting roles="gpadmin,user1"/>
    </runtime>
    <runtime>
</configuration>

这些是PL/Container配置文件中的XML元素和属性。

configuration

XML文件的根元素。

runtime

系统中可用的每个特定容器的一个元素。 这些是configuration元素的子元素。

id

必须。该值用于从PL/Container用户定义的函数引用Docker容器。 id值在配置中必须是唯一的。 id必须以字符或数字（a-z，A-Z或0-9）开头，并且可以包含字符，数字或字符_（下划线）,.（期间），或-（破折号）。 最大长度为63字节。

id指定当PL/Container创建Docker容器以执行用户定义的函数时要使用的Docker镜像。

image

必须。该值是完整的Docker镜像名称，包括镜像tag。与在Docker中启动此容器指定它们的方式相同。 配置允许有许多容器对象引用相同的镜像名称，这种方式在Docker中它们将由相同的容器表示。

例如，您可能有两个runtime元素，具有不同的id元素， plc_python_128和plc_python_256，两者都引用Docker镜像pivotaldata/plcontainer_python:1.0.0。 第一个runtime指定128MB RAM限制，第二个指定由setting元素的memory_mb属性指定的256MB限制。

command

必须。该值是要在容器内部运行以在容器内启动客户端进程的命令。 在创建runtime元素时，plcontainer实用程序会根据语言（-l 选项）添加command元素。

python语言的command元素。

<command>/clientdir/pyclient.sh</command>

R语言的command元素。

<command>/clientdir/rclient.sh</command>

只有在构建自定义容器并希望在容器启动之前实现一些其他初始化逻辑时，才应修改该值。

Note: 无法使用plcontainer实用程序设置此元素。 您可以使用plcontainer runtime-edit命令更新配置文件。

shared_directory

可选的。此元素为具有访问信息的容器指定共享Docker共享卷。 允许多个shared_directory元素。每个shared_directory元素指定一个共享卷。 shared_directory元素的XML属性：

• host - 主机系统上的目录位置。
• container - 容器内的目录位置。
• access - 主机目录的访问级别，可以是ro（只读）或rw（读写）。

创建runtime元素时，plcontainer实用程序会添加shared_directory元素。

<shared_directory access="ro" container="/clientdir" host="/usr/local/greenplum-db/bin/plcontainer_clients"/>

对于每个runtime元素，shared_directory元素的container属性必须是唯一的。 例如，runtime元素不能有两个带有属性container="/clientdir"的shared_directory元素。

Warning: 允许对主机目录进行读写访问需要特别考虑。

• 指定对主机目录的读写访问权限时，请确保指定的主机目录具有正确的权限。
• 运行PL/Container用户定义的函数时，主机上运行的多个并发Docker容器可能会更改主机目录中的数据。 确保这些函数支持对主机目录中的数据进行多个并发访问。

settings

可选的。此元素指定Docker容器配置信息。每个setting元素都包含一个属性。 element属性指定日志记录，内存或网络信息。例如，此元素启用日志记录。

<setting use_container_logging="yes"/>

这些是合法属性。

cpu_share

可选的。在runtime中指定每个PL/Container容器的CPU使用率。 元素的值是正整数。默认值为1024。该值是CPU使用率与其他容器的相对权重。

例如，与具有默认值1024的容器相比，cpu_share为2048的容器被分配了两倍的CPU切片时间。

memory_mb="size"

可选的。该值指定允许每个容器使用的内存量（MB）。每个容器都以这个RAM量和两倍的交换空间开始。 容器内存消耗受主机系统cgroups配置的限制，这意味着在内存过量使用的情况下，容器由系统终止。

resource_group_id="rg_groupid"

可选的。该值指定要分配给PL/Container runtime的资源组的groupid。 资源组限制共享此runtime配置的所有正在运行的容器的CPU和内存资源总使用量。 您必须指定资源组的groupid。 如果未将资源组分配给PL/Container runtime配置，则其容器实例仅受系统资源的限制。 有关管理PL/Container资源的信息，请参阅关于PL/Container资源管理。

roles="list_of_roles"

可选的。该值是Greenplum数据库角色名称或以逗号分隔的角色列表。 PL/Container运行仅对列出的角色使用PL/Container runtime配置的容器。 如果未指定该属性，则任何Greenplum数据库角色都可以运行此容器runtime配置的实例。 例如，您创建一个指定plcontainer语言的UDF， 并标识具有roles属性集的# container: runtime配置。 当角色（用户）运行UDF时，PL/Container会检查角色列表，并仅在角色位于列表中时运行容器。

use_container_logging="{yes | no}"

可选的。启用或禁用容器的Docker日志记录。属性值yes启用日志记录。属性值no禁用日志记录（默认值）。

Greenplum数据库服务器配置参数log_min_messages控制PL/Container日志级别。 默认日志级别为warning。 有关PL/Container日志信息的信息，请参阅备注。

默认情况下，PL/Container日志信息将发送到系统服务。 在Red Hat 7或CentOS 7系统上，日志信息将发送到journald服务。 在Red Hat 6或CentOS 6系统上，日志将发送到syslogd服务。

您可以使用plcontainer runtime-add命令将runtime元素添加到PL/Container配置文件中。 命令选项指定runtime ID，Docker镜像和语言等信息。 您可以使用plcontainer runtime-replace命令更新现有的runtime元素。 该实用程序更新master和所有segment实例上的配置文件。

PL/Container配置文件可以包含多个runtime元素，这些元素引用由XML元素image指定的相同Docker镜像。 在示例配置文件中，runtime元素包含名为plc_python_128和plc_python_256的id元素， 两者都引用Docker容器pivotaldata/plcontainer_python:1.0.0。 第一个runtime元素定义为128MB RAM限制，第二个定义为为256MB RAM限制。

<configuration>
  <runtime>
    <id>plc_python_128</id>
    <image>pivotaldata/plcontainer_python:1.0.0</image>
    <command>./client</command>
    <shared_directory access="ro" container="/clientdir" host="/usr/local/gpdb/bin/plcontainer_clients"/>
    <setting memory_mb="128"/>
  </runtime>
  <runtime>
    <id>plc_python_256</id>
    <image>pivotaldata/plcontainer_python:1.0.0</image>
    <command>./client</command>
    <shared_directory access="ro" container="/clientdir" host="/usr/local/gpdb/bin/plcontainer_clients"/>
    <setting memory_mb="256"/>
    <setting resource_group_id="16391"/>
  </runtime>
<configuration>

• PL/Container不支持Greenplum数据库域对象。
• PL/Container在所有Greenplum数据库segment实例的数据目录中维护配置文件plcontainer_configuration.xml：master，standby master，primary和mirror。 此查询列出了Greenplum数据库系统数据目录：

  SELECT hostname, datadir FROM gp_segment_configuration;

  PL/Container配置文件示例位于$GPHOME/share/postgresql/plcontainer中。

• 当Greenplum数据库执行PL/Container UDF时，Query Executer（QE）进程启动Docker容器并根据需要重用它们。 经过一定的空闲时间后，QE进程退出并销毁其Docker容器。 您可以使用Greenplum数据库服务器配置参数gp_vmem_idle_resource_timeout控制空闲时间。 控制空闲时间可能有助于Docker容器重用，并避免创建和启动Docker容器的开销。
  Warning: 更改gp_vmem_idle_resource_timeout值可能会因资源问题而影响性能。 该参数还控制释放除Docker容器之外的Greenplum数据库资源。
• 如果PL/Container Docker容器超过允许的最大内存量，则会终止该容器并显示内存不足警告。 在配置了Docker 1.7.1版的Red Hat 6或CentOS 6系统上，如果PL/Container Docker容器主程序（PID 1）终止，也会显示内存不足警告。
• 在某些情况下，当PL/Container在高并发环境中运行时，Docker守护程序会挂起并指示内存不足的日志条目。 即使系统似乎有足够的可用内存，也可能发生这种情况。

  这个问题似乎是由两个因素共同触发的， 即PL/Container使用的Go语言（golang）运行时的激进虚拟内存需求， 以及overcommit_memory的Greenplum数据库Linux服务器内核参数设置。 该参数设置为2，不允许内存过量使用。

  可能有用的解决方法是增加交换空间量并增加Linux服务器内核参数overcommit_ratio。 如果更改后问题仍然存在，则可能存在内存不足问题。 您应检查系统上的可用内存，并在需要时添加更多RAM。 您还可以降低群集负载。

• PL/Container不限制Docker基本设备大小，Docker容器的大小。 在某些情况下，Docker守护程序控制基本设备大小。 例如，如果Docker存储驱动程序是devicemapper，则Docker守护程序--storage-opt选项标志dm.basesize控制基本设备大小。 devicemapper的默认基本设备大小为10GB。 Docker命令docker info显示Docker系统信息，包括存储驱动程序。 基本设备大小显示在Docker 1.12及更高版本中。 有关Docker存储驱动程序的信息，请参阅Docker信息守护存储驱动程序。

  设置Docker基本设备大小时，必须在所有Greenplum数据库主机上设置大小。

• 启用PL/Container日志记录后，可以使用Greenplum数据库服务器配置参数log_min_messages设置日志级别。 默认日志级别为warning。 该参数控制PL/Container日志级别，还控制Greenplum数据库日志级别。
  • 使用setting属性use_container_logging为每个runtime ID启用或禁用PL/Container日志记录。 默认为无记录。
  • PL/Container日志信息是来自Docker容器中运行的UDF的信息。 默认情况下，PL/Container日志信息将发送到系统服务。 在Red Hat 7或CentOS 7系统上，日志信息将发送到journald服务。 在Red Hat 6或CentOS 6系统上，日志信息将发送到syslogd服务。 PL/Container日志信息将发送到Docker容器运行的主机的日志文件中。
  • Greenplum数据库日志信息将发送到Greenplum数据库master上的日志文件。

  在测试或排除PL/Container UDF故障时，可以使用SET命令更改Greenplum数据库日志级别。 您可以在运行PL/Container UDF之前在会话中设置参数。 此示例将日志级别设置为debug1。

  SET log_min_messages='debug1' ;

  Note: 参数log_min_messages控制Greenplum数据库和PL/Container日志记录， 即使PL/Container UDF未运行，增加日志级别也可能影响Greenplum数据库性能。