PXF安装了Azure Blob Storage, Azure Data Lake, Google Cloud Storage, Minio和S3对象存储的连接器

先决条件

在使用PXF处理对象存储数据之前，请确保：

• 您已经配置并初始化了PXF，并且PXF正在每台主机上运行。有关其他信息，请参阅配置PXF
• 您已经配置了计划使用的PXF对象存储连接器。有关说明，请参阅配置Azure、Google云端存储、Minio和S3对象存储的连接器。
• Greenplum数据库segment主机与外部对象存储系统之间的时间是同步的。

连接器、数据格式和配置文件

PXF对象存储连接器提供内置配置文件支持以下数据格式：

• Text
• Avro
• JSON
• Parquet
• AvroSequenceFile
• SequenceFile

与Azure、Google Cloud Storage、Minio和S3的PXF连接器提供了以下配置文件以读取、写入(在许多情况下)这些受支持的数据格式：

在 CREATE EXTERNAL TABLE 命令中指定 pxf 协议以创建引用特定对象存储中的文件或目录的Greenplum数据库外部表时，可以提供配置文件名称。

示例CREATE EXTERNAL TABLE命令

以下命令创建了一个引用S3上的文本文件的外部表。指定名为 s3:text 的配置文件和名为 s3srvcfg 的服务配置：

CREATE EXTERNAL TABLE pxf_s3_text(location text, month text, num_orders int, total_sales float8)
  LOCATION ('pxf://S3_BUCKET/pxf_examples/pxf_s3_simple.txt?PROFILE=s3:text&SERVER=s3srvcfg')
FORMAT 'TEXT' (delimiter=E',');

以下命令创建了一个引用Azure Blob Storage上文本文件的外部表。 指定名为 wasbs:text 的配置文件和名为 wasbssrvcfg 的服务配置。 您将提供Azure Blob Storage 容器标识和您的 Azure Blob Storage 账户。

CREATE EXTERNAL TABLE pxf_wasbs_text(location text, month text, num_orders int, total_sales float8)
  LOCATION ('pxf://AZURE_CONTAINER@YOUR_AZURE_BLOB_STORAGE_ACCOUNT_NAME.blob.core.windows.net/path/to/blob/file?PROFILE=wasbs:text&SERVER=wasbssrvcfg')
FORMAT 'TEXT';

以下命令创建了一个引用Azure Data Lake上文本文件的外部表。 指定名为 adl:text 的配置文件和名为 adlsrvcfg 的服务配置。 您将提供您的Azure Data Lake 账户。

CREATE EXTERNAL TABLE pxf_adl_text(location text, month text, num_orders int, total_sales float8)
  LOCATION ('pxf://YOUR_ADL_ACCOUNT_NAME.azuredatalakestore.net/path/to/file?PROFILE=adl:text&SERVER=adlsrvcfg')
FORMAT 'TEXT';

以下命令创建了一个引用Google Cloud Storage上JSON文件的外部表。 指定名为 gs:json 的配置文件和名为 gcssrvcfg 的服务配置：

CREATE EXTERNAL TABLE pxf_gsc_json(location text, month text, num_orders int, total_sales float8)
  LOCATION ('pxf://dir/subdir/file.json?PROFILE=gs:json&SERVER=gcssrvcfg')
FORMAT 'CUSTOM' (FORMATTER='pxfwritable_import');