管理连接

管理连接

译者：@ImPerat0R_、@ThinkingChen

Airflow需要知道如何连接到您的环境。其他系统和服务的主机名，端口，登录名和密码等信息在UI的Admin->Connection部分中处理。您编写的pipeline（管道）代码将引用Connection对象的“conn_id”。

可以使用UI或环境变量创建和管理连接。

有关更多信息，请参阅Connenctions Concepts文档。

使用UI创建连接

打开UI的Admin->Connection部分。单击Create按钮以创建新连接。

使用所需的连接ID填写Conn Id字段。建议您使用小写字符和单独的带下划线的单词。
使用Conn Type字段选择连接类型。
填写其余字段。有关属于不同连接类型的字段的说明，请参阅连接类型。
单击Save按钮以创建连接。

使用UI编辑连接

打开UI的Admin->Connection部分。单击连接列表中要编辑的连接旁边的铅笔图标。

修改连接属性，然后单击Save按钮以保存更改。

使用环境变量创建连接

可以使用环境变量创建Airflow pipeline（管道）中的连接。环境变量需要具有AIRFLOW_CONN_的前缀的URI格式才能正确使用连接。

在引用Airflow pipeline（管道）中的连接时，conn_id应该是没有前缀的变量的名称。例如，如果conn_id名为postgres_master，则环境变量应命名为AIRFLOW_CONN_POSTGRES_MASTER（请注意，环境变量必须全部为大写）。Airflow假定环境变量返回的值为URI格式（例如postgres://user:password@localhost:5432/master或s3://accesskey:secretkey@S3 ）。

连接类型

Google Cloud Platform

Google Cloud Platform连接类型支持GCP集成。

对GCP进行身份验证

有两种方法可以使用Airflow连接到GCP。

使用应用程序默认凭据，例如在Google Compute Engine上运行时通过元数据服务器。
在磁盘上使用服务帐户密钥文件（JSON格式）。

默认连接ID

默认情况下使用以下连接ID。

bigquery_default

由BigQueryHook钩子使用。

google_cloud_datastore_default

由DatastoreHook钩子使用。

google_cloud_default

由GoogleCloudBaseHook，DataFlowHook，DataProcHook，MLEngineHook和GoogleCloudStorageHook挂钩使用。

配置连接

Project Id (必填)

要连接的Google Cloud项目ID。

Keyfile Path

磁盘上服务帐户密钥文件（JSON格式）的路径。

如果使用应用程序默认凭据则不需要

Keyfile JSON

磁盘上的服务帐户密钥文件（JSON格式）的内容。如果使用此方法进行身份验证，建议保护您的连接。

如果使用应用程序默认凭据则不需要

Scopes (逗号分隔)

要通过身份验证的逗号分隔Google云端范围列表。

注意
使用应用程序默认凭据时，将忽略范围。请参阅AIRFLOW-2522 。

MySQL

MySQL连接类型允许连接MySQL数据库。

配置连接

主机（必填）

要连接的主机。

模式（选填）

指定要在数据库中使用的模式名称。

登陆（必填）

指定要连接的用户名

密码（必填）

指定要连接的密码

额外参数（选填）

指定可以在mysql连接中使用的额外参数（作为json字典）。支持以下参数：

charset：指定连接的charset
cursor：指定使用的cursor，为“sscursor”、“dictcurssor”、“ssdictcursor”其中之一
local_infile：控制MySQL的LOCAL功能（允许客户端加载本地数据）。有关详细信息，请参阅MySQLdb文档。
unix_socket：使用UNIX套接字而不是默认套接字
ssl：控制使用SSL连接的SSL参数字典（这些参数是特定于服务器的，应包含“ca”，“cert”，“key”，“capath”，“cipher”参数。有关详细信息，请参阅MySQLdb文档。请注意，以便在URL表示法中很有用，此参数也可以是SSL字典是字符串编码的JSON字典的字符串。

示例“extras”字段：

{
   "charset": "utf8",
   "cursorclass": "sscursor",
   "local_infile": true,
   "unix_socket": "/var/socket",
   "ssl": {
     "cert": "/tmp/client-cert.pem",
     "ca": "/tmp/server-ca.pem'",
     "key": "/tmp/client-key.pem"
   }
}

或

{
   "charset": "utf8",
   "cursorclass": "sscursor",
   "local_infile": true,
   "unix_socket": "/var/socket",
   "ssl": "{\"cert\": \"/tmp/client-cert.pem\", \"ca\": \"/tmp/server-ca.pem\", \"key\": \"/tmp/client-key.pem\"}"
}

将连接指定为URI（在AIRFLOWCONN *变量中）时，应按照DB连接的标准语法指定它，其中附加项作为URI的参数传递（请注意，URI的所有组件都应进行URL编码）。

举个例子：

mysql://mysql_user:XXXXXXXXXXXX@1.1.1.1:3306/mysqldb?ssl=%7B%22cert%22%3A+%22%2Ftmp%2Fclient-cert.pem%22%2C+%22ca%22%3A+%22%2Ftmp%2Fserver-ca.pem%22%2C+%22key%22%3A+%22%2Ftmp%2Fclient-key.pem%22%7D

注意
如果在使用MySQL连接时遇到UnicodeDecodeError，请检查定义的字符集是否与数据库字符集匹配。