如何增加pgbouncher的连接吞吐量？

Question

我在交易模式下使用pgbouncer

当前设置：[“n”个客户端---

我注意到，当我使用pgbouncer而不是直接连接到postgres时，我的交易/秒（tps）显著减少。

对于相同的set to事务（通过pgbench）

>

pgbouncer连接=

pgbouncer中是否有任何配置需要调整以实现更好的性能？

我知道pgbouncer是一个单线程应用程序，但我希望将其调整到最佳状态。以下是我的pgbouncer配置：

pgbouncer。ini公司

pool_mode = transaction
server_reset_query =

# Time outs
server_lifetime=6000
server_idle_timeout=0
server_connect_timeout=30


#pool configuration
max_client_conn=10000
default_pool_size=500
pool_size=500

##other
pkt_buf=4096
server_login_retry=2

我能看到的唯一应用程序是使用多个pgbouncers指向同一个db服务器。

更新

执行测试时：

CPU利用率：30%appx

磁盘利用率：40%appx

观察：许多交易处于“空闲”状态

测试详细信息：

10机器作为客户端，向DB服务器运行pgbench触发请求。

命令：pgbench-h-p 6541-c 512-j 16-f pgbench\u SchemaScript。sql-T 360-U postgres测试

pgbench\u SchemaScript。sql

\setrandom delta 0 100000
insert into t1.emplog values(nextval('t1.employeeSeq'),:delta);

1台安装了pgbounker的DB服务器（16core，24 Gb RAM）

Answer 1

如果您在与PostgreSQL相同的主机上运行PgBouncer，则应使用renice提高PgBouncer进程的CPU优先级。

renice -10 -p `pidof pgbouncer`

默认Linux调度程序是循环的，它会饿死PgBouner，因为它平等地对待所有进程-数百个postgres进程压倒单个pgbouner进程。

在中等负载下，这通常不是问题，但在运行大量小型事务时，这可能是一个非常重要的因素。

即使是renice也不能施展魔法：如果您运行超过10kTPS，您可能必须考虑一些负载平衡（HAProxy？）在（多个）PgBounker面前。

Answer 2

我知道这是一个老问题，但我们也有类似的问题，我们只是在同一个数据库的不同端口上在Docker中运行更多的pgbouncers，它工作正常。这样，您就可以在pgbouncer的不同实例上拥有来自不同应用程序的不同队列。