发版指南

检查环境

为确保您可以成功完成 DolphinScheduler 的发布，您应该检查您的环境并确保满足所有条件，如果缺少任何条件，您应该安装它们并确保它们正常工作。

  1. # 需要 JDK 1.8 及以上的版本
  2. java -version
  3. # 需要 Maven 
  4. mvn -version
  5. # 需要 Python 3.6 及以上的版本，并且需要 `python` 关键字能在命令行中运行，且版本符合条件。
  6. python --version

GPG设置

安装GPG

在GnuPG官网下载安装包。 GnuPG的1.x版本和2.x版本的命令有细微差别，下列说明以GnuPG-2.1.23版本为例。

安装完成后，执行以下命令查看版本号。

  1. gpg --version

创建key

安装完成后，执行以下命令创建key。

GnuPG-2.x可使用：

  1. gpg --full-gen-key

GnuPG-1.x可使用：

  1. gpg --gen-key

根据提示完成key，注意：请使用Apache mail 和 对应的密码生成GPG的Key。

  1. gpg (GnuPG) 2.0.12; Copyright (C) 2009 Free Software Foundation, Inc.
  2. This is free software: you are free to change and redistribute it.
  3. There is NO WARRANTY, to the extent permitted by law.
  5. Please select what kind of key you want:
  6.   (1) RSA and RSA (default)
  7.   (2) DSA and Elgamal
  8.   (3) DSA (sign only)
  9.   (4) RSA (sign only)
  10. Your selection? 1
  11. RSA keys may be between 1024 and 4096 bits long.
  12. What keysize do you want? (2048) 4096
  13. Requested keysize is 4096 bits
  14. Please specify how long the key should be valid.
  15.         0 = key does not expire
  16.      <n>  = key expires in n days
  17.      <n>w = key expires in n weeks
  18.      <n>m = key expires in n months
  19.      <n>y = key expires in n years
  20. Key is valid for? (0)
  21. Key does not expire at all
  22. Is this correct? (y/N) y
  24. GnuPG needs to construct a user ID to identify your key.
  26. Real name: ${输入用户名}
  27. Email address: ${输入邮件地址}
  28. Comment: ${输入注释}
  29. You selected this USER-ID:
  30.    "${输入的用户名} (${输入的注释}) <${输入的邮件地址}>"
  32. Change (N)ame, (C)omment, (E)mail or (O)kay/(Q)uit? O
  33. You need a Passphrase to protect your secret key. # 输入apache登录密码

注意：如果遇到以下错误：

  1. gpg: cancelled by user
  2. gpg: Key generation canceled.

需要使用自己的用户登录服务器，而不是root切到自己的账户

查看生成的key

  1. gpg --list-keys

执行结果：

  1. pub   4096R/85E11560 2019-11-15
  2. uid                  ${用户名} (${注释}) <{邮件地址}>
  3. sub   4096R/A63BC462 2019-11-15

其中85E11560为公钥ID。

将公钥同步到服务器

命令如下：

  1. gpg --keyserver hkp://pool.sks-keyservers.net --send-key 85E11560

pool.sks-keyservers.net为随意挑选的公钥服务器，每个服务器之间是自动同步的，选任意一个即可。

注意：如果同步到公钥服务器，可以在服务器上查到新建的公钥 http://keyserver.ubuntu.com:11371/pks/lookup?search=${用户名}&fingerprint=on&op=index 备用公钥服务器 gpg —keyserver hkp://keyserver.ubuntu.com —send-key ${公钥ID}

发布Apache Maven中央仓库

设置 settings-security.xml 和 settings.xml 文件

在本节中，我们添加 Apache 服务器 maven 配置以准备发布，请参考这里 添加 settings-security.xml 文件，并且像下面这样更改你的 ~/.m2/settings.xml

  1. <settings>
  2.   <servers>
  3.     <server>
  4.       <id>apache.snapshots.https</id>
  5.       <username> <!-- APACHE LDAP 用户名 --> </username>
  6.       <password> <!-- APACHE LDAP 加密后的密码 --> </password>
  7.     </server>
  8.     <server>
  9.       <id>apache.releases.https</id>
  10.       <username> <!-- APACHE LDAP 用户名 --> </username>
  11.       <password> <!-- APACHE LDAP 加密后的密码 --> </password>
  12.     </server>
  13.   </servers>
  14. </settings>

配置环境变量

我们将多次使用发布版本 VERSION，github名称 GH_USERNAME，以及 Apache 用户名 <YOUR-APACHE-USERNAME>，因此最好将其存储到bash变量中以便于使用。

  1. VERSION=<THE-VERSION-YOU-RELEASE>
  2. GH_USERNAME=<YOUR-GITHUB-USERNAME>
  3. A_USERNAME=<YOUR-APACHE-USERNAME>

注意：设置环境变量后，我们可以直接在你的 bash 中使用该变量，而无需更改任何内容。例如，我们可以直接使用命令 git clone -b "${VERSION}"-prepare https://github.com/apache/dolphinscheduler.git 来克隆发布分支，他会自动将其中的 "${VERSION}" 转化成你设置的值 <THE-VERSION-YOU-RELEASE>。 但是您必须在一些非 bash 步骤中手动更改 <VERSION> 为对应的版本号，例如发起投票中的内容。我们使用 <VERSION> 而不是 "${VERSION}" 来提示 release manager 他们必须手动更改这部分内容

创建发布分支

在本节中，我们从 github 下载源代码并创建新分支以发布

  1. git clone -b "${VERSION}"-prepare https://github.com/apache/dolphinscheduler.git
  2. cd ~/dolphinscheduler/
  3. git pull
  4. git checkout -b ${RELEASE.VERSION}-release
  5. git push origin ${RELEASE.VERSION}-release

发布预校验

  1. # 保证 python profile 的 gpg 可以正常运行
  2. export GPG_TTY=$(tty)
  4. # 运行发版校验
  5. mvn release:prepare -Prelease,python -Darguments="-Dmaven.test.skip=true -Dcheckstyle.skip=true -Dmaven.javadoc.skip=true" -DautoVersionSubmodules=true -DdryRun=true -Dusername="${GH_USERNAME}"
  • -Prelease,python: 选择release和python的profile，这个profile会打包所有源码、jar文件以及可执行二进制包，以及Python的二进制包。
  • -DautoVersionSubmodules=true: 作用是发布过程中版本号只需要输入一次，不必为每个子模块都输入一次。
  • -DdryRun=true: 演练，即不产生版本号提交，不生成新的tag。

准备发布

首先清理发布预校验本地信息。

  1. mvn release:clean

然后准备执行发布。

  1. mvn release:prepare -Prelease,python -Darguments="-Dmaven.test.skip=true -Dcheckstyle.skip=true -Dmaven.javadoc.skip=true" -DautoVersionSubmodules=true -DpushChanges=false -Dusername="${GH_USERNAME}"

和上一步演练的命令基本相同，去掉了 -DdryRun=true 参数。

  • -DpushChanges=fals:不要将修改后的版本号和tag自动提交至GitHub。

注意：如果你遇到来自 git 的类似 Please tell me who you are. 错误信息。您可以通过命令 git config --global user.email "you@example.com" 和 git config --global user.name "Your Name" 来配置你的用户名和邮箱如果你遇到一些错误。

将本地文件检查无误后，提交至github。

  1. git push -u origin "${VERSION}"-release
  2. git push origin --tags

注意1：因为 Github 不再支持在 HTTPS 协议中使用原生密码在，所以在这一步你应该使用 github token 作为密码。你可以通过 https://docs.github.com/en/authentication/keeping-your-account-and-data-secure/creating -a-personal-access-token 了解更多如果创建 token 的信息。

注意2：命令完成后，会自动创建 release.properties 文件和 *.Backup 文件，它们在下面的命令中是需要的，不要删除它们

部署发布

  1. mvn release:perform -Prelease,python -Darguments="-Dmaven.test.skip=true -Dcheckstyle.skip=true -Dmaven.javadoc.skip=true" -DautoVersionSubmodules=true -Dusername="${GH_USERNAME}"

执行完该命令后，待发布版本会自动上传到Apache的临时筹备仓库(staging repository)。你可以通过访问 apache staging repositories , 然后使用Apache的LDAP账户登录后，就会看到上传的版本，Repository 列的内容即为 ${STAGING.REPOSITORY}。 点击 Close 来告诉Nexus这个构建已经完成，只有这样该版本才是可用的。如果电子签名等出现问题，Close 会失败，可以通过 Activity 查看失败信息。

发布Apache SVN仓库

检出dolphinscheduler发布目录

如无本地工作目录，则先创建本地工作目录。

  1. mkdir -p ~/ds_svn/dev/
  2. cd ~/ds_svn/dev/

创建完毕后，从Apache SVN检出dolphinscheduler发布目录。

  1. svn --username="${A_USERNAME}" co https://dist.apache.org/repos/dist/dev/dolphinscheduler
  2. cd ~/ds_svn/dev/dolphinscheduler

添加gpg公钥

仅第一次部署的账号需要添加，只要KEYS中包含已经部署过的账户的公钥即可。

  1. gpg -a --export <YOUR-GPG-KEY-ID> >> KEYS

将待发布的内容添加至SVN目录

创建版本号目录。

  1. mkdir -p ~/ds_svn/dev/dolphinscheduler/"${VERSION}"
  2. mkdir -p ~/ds_svn/dev/dolphinscheduler/"${VERSION}"/python
  3. cd ~/ds_svn/dev/dolphinscheduler/"${VERSION}"

将源码包和二进制包添加至SVN工作目录。

  1. # 主程序源码包和二进制包
  2. cp -f ~/dolphinscheduler/dolphinscheduler-dist/target/*.tar.gz ~/ds_svn/dev/dolphinscheduler/"${VERSION}"
  3. cp -f ~/dolphinscheduler/dolphinscheduler-dist/target/*.tar.gz.asc ~/ds_svn/dev/dolphinscheduler/"${VERSION}"
  5. # Python API 源码和二进制包
  6. cp -f ~/dolphinscheduler/dolphinscheduler-dist/target/python/* ~/ds_svn/dev/dolphinscheduler/"${VERSION}"/python

生成文件签名

  1. shasum -a 512 apache-dolphinscheduler-"${VERSION}"-src.tar.gz >> apache-dolphinscheduler-"${VERSION}"-src.tar.gz.sha512
  2. shasum -b -a 512 apache-dolphinscheduler-"${VERSION}"-bin.tar.gz >> apache-dolphinscheduler-"${VERSION}"-bin.tar.gz.sha512
  3. cd python
  4. shasum -a 512 apache-dolphinscheduler-python-"${VERSION}".tar.gz >> apache-dolphinscheduler-python-"${VERSION}".tar.gz.sha512
  5. shasum -b -a 512 apache_dolphinscheduler-python-"${VERSION}"-py3-none-any.whl >> apache_dolphinscheduler-python-"${VERSION}"-py3-none-any.whl.sha512
  6. cd ../

提交Apache SVN

  1. cd ~/ds_svn/dev/dolphinscheduler
  2. svn add *
  3. svn --username="${A_USERNAME}" commit -m "release ${VERSION}"

检查发布结果

检查sha512哈希

  1. shasum -c apache-dolphinscheduler-"${VERSION}"-src.tar.gz.sha512
  2. shasum -c apache-dolphinscheduler-"${VERSION}"-bin.tar.gz.sha512
  3. cd python
  4. shasum -c apache-dolphinscheduler-python-"${VERSION}".tar.gz.sha512
  5. shasum -c apache_dolphinscheduler-python-"${VERSION}"-py3-none-any.whl.sha512
  6. cd ../

检查gpg签名

首先导入发布人公钥。从svn仓库导入KEYS到本地环境。（发布版本的人不需要再导入，帮助做验证的人需要导入，用户名填发版人的即可）

  1. curl https://dist.apache.org/repos/dist/dev/dolphinscheduler/KEYS >> KEYS
  2. gpg --import KEYS
  3. gpg --edit-key "${A_USERNAME}"
  4.   > trust
  6. Please decide how far you trust this user to correctly verify other users' keys
  7. (by looking at passports, checking fingerprints from different sources, etc.)
  9.   1 = I don't know or won't say
  10.   2 = I do NOT trust
  11.   3 = I trust marginally
  12.   4 = I trust fully
  13.   5 = I trust ultimately
  14.   m = back to the main menu
  16. Your decision? 5
  18.   > save

然后进行gpg签名检查。

  1. gpg --verify apache-dolphinscheduler-"${VERSION}"-src.tar.gz.asc
  2. gpg --verify apache-dolphinscheduler-"${VERSION}"-bin.tar.gz.asc
  3. cd python
  4. gpg --verify apache-dolphinscheduler-python-"${VERSION}".tar.gz.asc
  5. gpg --verify apache_dolphinscheduler-python-"${VERSION}"-py3-none-any.whl.asc
  6. cd ../

注意：当你找不到你的 asc 文件时，你必须手动创建 gpg 签名，命令 gpg --armor --detach-sign --digest-algo=SHA512 apache-dolphinscheduler-"${VERSION}"- bin.tar.gz 和 gpg --armor --detach-sign --digest-algo=SHA512 apache-dolphinscheduler-"${VERSION}"-src.tar.gz 将创建它们

检查发布文件内容

检查源码包的文件内容

解压缩apache-dolphinscheduler-<VERSION>-src.tar.gz以及Python文件夹下的apache-dolphinscheduler-python-<VERSION>.tar.gz，进行如下检查:

  • 检查源码包是否包含由于包含不必要文件，致使tarball过于庞大
  • 存在LICENSE和NOTICE文件
  • 只存在文本文件，不存在二进制文件
  • 所有文件的开头都有ASF许可证
  • 能够正确编译，单元测试可以通过 (mvn install)
  • 版本内容与GitHub上tag的内容相符 (diff -r a verify_dir tag_dir)
  • 检查是否有多余文件或文件夹，例如空文件夹等

检查二进制包的文件内容

解压缩apache-dolphinscheduler-<VERSION>-src.tar.gz和apache-dolphinscheduler-python-<VERSION>-bin.tar.gz 进行如下检查:

  • 存在LICENSE和NOTICE文件
  • 所有文本文件开头都有ASF许可证
  • 检查第三方依赖许可证：
    • 第三方依赖的许可证兼容
    • 所有第三方依赖的许可证都在LICENSE文件中声明
    • 依赖许可证的完整版全部在license目录
    • 如果依赖的是Apache许可证并且存在NOTICE文件，那么这些NOTICE文件也需要加入到版本的NOTICE文件中

发起投票

更新版本说明

在 GitHub 中通过 创建新的 release note 创建一个 release note。 这要在 投票邮件开始之前完成，因为我们需要在邮件中使用 release note。你可以通过命令 git log --pretty="- %s" <PREVIOUS-RELEASE-SHA>..<CURRENT-RELEASE-SHA> > changelog.md 自动生成 changelog（部分可以不太准确，需要人为过滤一遍），然后将他们分类并粘贴到 GitHub 的 release note 中

投票阶段

  1. DolphinScheduler社区投票，发起投票邮件到dev@dolphinscheduler.apache.org。PMC需要先按照文档检查版本的正确性，然后再进行投票。 经过至少72小时并统计到至少3个+1 并且没有-1 PMC member票后，即可进入下一阶段。

  2. 宣布投票结果,发起投票结果邮件到dev@dolphinscheduler.apache.org。

投票模板

  1. DolphinScheduler社区投票模板

标题：

  1. [VOTE] Release Apache DolphinScheduler <VERSION>

正文：

  1. Hello DolphinScheduler Community,
  3. This is a call for vote to release Apache DolphinScheduler version <VERSION>
  5. Release notes: https://github.com/apache/dolphinscheduler/releases/tag/<VERSION>
  7. The release candidates: https://dist.apache.org/repos/dist/dev/dolphinscheduler/<VERSION>/
  9. Maven 2 staging repository: https://repository.apache.org/content/repositories/<VERSION>/org/apache/dolphinscheduler/
  11. Git tag for the release: https://github.com/apache/dolphinscheduler/tree/<VERSION>
  13. Release Commit ID: https://github.com/apache/dolphinscheduler/commit/<SHA-VALUE>
  15. Keys to verify the Release Candidate: https://dist.apache.org/repos/dist/dev/dolphinscheduler/KEYS
  17. Look at here for how to verify this release candidate: https://dolphinscheduler.apache.org/en-us/community/release.html
  19. The vote will be open for at least 72 hours or until necessary number of votes are reached.
  21. Please vote accordingly:
  23. [ ] +1 approve
  24. [ ] +0 no opinion
  25. [ ] -1 disapprove with the reason
  27. Checklist for reference:
  29. [ ] Download links are valid.
  30. [ ] Checksums and PGP signatures are valid.
  31. [ ] Source code artifacts have correct names matching the current release.
  32. [ ] LICENSE and NOTICE files are correct for each DolphinScheduler repo.
  33. [ ] All files have license headers if necessary.
  34. [ ] No compiled archives bundled in source archive.

2.宣布投票结果模板

正文：

  1. The vote to release Apache DolphinScheduler <VERSION> has passed.Here is the vote result,
  3. 4 PMC member +1 votes:
  5. xxx
  6. xxx
  7. xxx
  8. xxx
  10. 1 community +1 vote:
  11. xxx
  13. Thanks everyone for taking time to check this release and help us.

完成发布

将源码和二进制包从svn的dev目录移动到release目录

  1. svn mv https://dist.apache.org/repos/dist/dev/dolphinscheduler/"${VERSION}" https://dist.apache.org/repos/dist/release/dolphinscheduler/

将 gpg KEYS svn的dev目录移动到release目录

只有你第一次使用该 KEY 发版时才需要，如果之前已经发过版且 KEY 没有变化则不需要

  1. mkdir -p ~/ds_svn/release/
  2. cd ~/ds_svn/release/
  3. svn --username="${A_USERNAME}" co https://dist.apache.org/repos/dist/release/dolphinscheduler
  4. gpg -a --export <YOUR-GPG-KEY-ID> >> KEYS
  5. svn add *
  6. svn --username="${A_USERNAME}" commit -m "new key <YOUR-GPG-KEY-ID> add"

更新文档

官网应该在您发送通知邮件之前完成更新，本节将告诉您如何更改网站。假设发版的版本是 <VERSION>，需要进行以下更新（注意，当修改pull requests 被 merge 后就会生效）:

  • apache/dolphinscheduler-website 仓库：
    • download/en-us/download.md 和 download/zh-cn/download.md: 增加 <VERSION> 版本发布包的下载
    • scripts/conf.sh: 在变量 DEV_RELEASE_DOCS_VERSIONS 中增加版本为 <VERSION> 的新键值对
  • apache/dolphinscheduler 仓库：
    • docs/configs/site.js:
      • docsLatest: 更新为 <VERSION>
      • docs0: 两处 en-us/zh-cn 的 text 更新为 latest(<VERSION>)
      • docsxyz: 两处 en-us/zh-cn 的 children 增加 key 为 docsxyz, text 为 <VERSION> 的下拉菜单
    • docs/configs/index.md.jsx: 增加 '<VERSION>': docsxyzConfig,
    • docs/docs/en/history-versions.md 和 docs/docs/zh/history-versions.md: 增加新的发版版本 <VERSION> 的链接
    • .github/ISSUE_TEMPLATE/bug-report.yml: DolphinScheduler 在 GitHub issue 中有版本选择的部分，当有新版本发版后，需要更新这部分的内容。目前与版本关联的是 bug-report，发版的时候需要 向其中的 Version 部分增加内容。

在 apache staging repositories 仓库找到 DolphinScheduler 并点击Release

发送公告邮件通知社区

当完成了上述的发版流程后，需要发送一封公告邮件给社区。你需要将邮件发送到 dev@dolphinscheduler.apache.org 并抄送到 announce@apache.org。

通知邮件模板如下：

标题：

  1. [ANNOUNCE] Release Apache DolphinScheduler <VERSION>

正文：

  1. Hi all,
  3. We are glad to announce the release of Apache DolphinScheduler <VERSION>. Once again I would like to express my thanks to your help.
  5. Dolphin Scheduler is a distributed and easy-to-extend visual workflow scheduler system,
  6. dedicated to solving the complex task dependencies in data processing, making the scheduler system out of the box for data processing.
  9. Download Links: https://dolphinscheduler.apache.org/en-us/download/download.html
  11. Release Notes: https://github.com/apache/dolphinscheduler/releases/tag/<VERSION>
  13. Website: https://dolphinscheduler.apache.org/
  15. DolphinScheduler Resources:
  16. - Issue: https://github.com/apache/dolphinscheduler/issues/
  17. - Mailing list: dev@dolphinscheduler.apache.org
  18. - Documents: https://dolphinscheduler.apache.org/zh-cn/docs/<VERSION>/user_doc/about/introduction.html