高并发报错“too many clients already”或无法创建线程

问题现象

高并发执行SQL，报错“sorry, too many clients already”；或报无法创建线程、无法fork进程等错误。

原因分析

该类报错是由于操作系统线程资源不足引起，查看操作系统ulimit -u，如果过小（例如小于32768），则基本可以判断是操作系统限制引起的。

处理办法

通过“ulimit -u”命令查看操作系统max user processes的值。

  1. [root@openGauss36 mnt]# ulimit -u
  2. unlimited

按如下简易公式计算需要设置的最小值。

  1. value=max(32768，实例数目*8192)

其中实例数目指本节点所有实例总数。

设置最小值方法为，修改/etc/security/limits.conf，追加如下两行：

  1. * hard nproc [value]  
  2. * soft nproc [value]

对于不同操作系统修改方式略有不同，centos6以上版本可以修改/etc/security/limits.d/90-nofile.conf文件，方法同上。

另外，也可以直接通过如下命令设置，但OS重启会失效，可以添加到全局环境变量/etc/profile文件中使其生效。

  1. ulimit -u [values]

在大并发模式下，建议开启线程池，使数据库内部的线程资源受控。