Nacos 2.0 服务配置性能测试报告
测试目的
- 长链接各项业务指标的最高值
- 长链接相比短链接的差异数据对比
测试工具
我们使用自研的PAS性能评估服务平台进行压测，其原理是基于利用JMeter引擎，使用PAS自动生成的JMeter脚本，进行智能压测。
测试环境
1.环境
| 指标 | 参数 |
|---|---|
| 机器 | CPU 8核，内存16G |
| 集群规模 | 单机 |
| Nacos版本 | Nacos 2.0.0-ALPHA2， Nacos 1.4.0 |
| 数据库 | 32C128G |
2.设置启动参数
因为grpc使用的直接内存，堆内存相对使用较少，所以jvm参数有所调整
Nacos2.0 gRPC
JAVA_OPT="${JAVA_OPT} -server -Xms9216m -Xmx9216m -XX:MaxDirectMemorySize=4096m -XX:NewSize=4096m -XX:+UnlockDiagnosticVMOptions -XX:+PrintNMTStatistics -DisPushContent=false -XX:MaxNewSize=4096m -XX:MetaspaceSize=512m -XX:MaxMetaspaceSize=512m -XX:-OmitStackTraceInFastThrow -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/admin/nacos/logs/java_heapdump.hprof -XX:-UseLargePages -Xloggc:/home/admin/nacos/logs/nacos_gc.log -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=100M -DQUERYTIMEOUT=90 -XX:SurvivorRatio=10 -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:+CMSClassUnloadingEnabled -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/admin/nacos/logs -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:CMSMaxAbortablePrecleanTime=5000 -XX:CMSInitiatingOccupancyFraction=74 -XX:+UseCMSInitiatingOccupancyOnly -XX:ParallelGCThreads=8 -Dnacos.core.auth.enabled=false "
Nacos1.X HTTP
-server -Xms12880m -Xmx12880m -XX:MaxDirectMemorySize=1024m -XX:NewSize=1024m -XX:+UnlockDiagnosticVMOptions -XX:+PrintNMTStatistics -DisPushContent=false -XX:MaxNewSize=4096m -XX:MetaspaceSize=512m -XX:MaxMetaspaceSize=512m -XX:-OmitStackTraceInFastThrow -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/admin/nacos/logs/java_heapdump.hprof -XX:-UseLargePages -Xloggc:/home/admin/nacos/logs/nacos_gc.log -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=100M -DQUERYTIMEOUT=90 -XX:SurvivorRatio=10 -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:+CMSClassUnloadingEnabled -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/admin/nacos/logs -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:CMSMaxAbortablePrecleanTime=5000 -XX:CMSInitiatingOccupancyFraction=74 -XX:+UseCMSInitiatingOccupancyOnly -XX:ParallelGCThreads=8 -Dnacos.core.auth.enabled=false -Dnacos.member.list= -Djava.ext.dirs=/opt/taobao/java/jre/lib/ext:/opt/taobao/java/lib/ext -Xloggc:/home/admin/nacos/logs/nacos_gc.log -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=100M
测试场景
以下测试场景都是服务配置重要接口：
- 验证Nacos服务发布配置的能力
- 验证Nacos服务获取配置的能力
- 验证Nacos服务监听配置的能力
- 验证Nacos服务长连接容量能力
测试方式均是在相同的环境下，使用相同的压力进行测试，分别比对Nacos2.X版本和Nacos1.X版本的性能差异。
测试数据
1. 发布配置
Nacos2.0
| tps | 500 | 1000 | 1200 | 1500 | 2000 | 2500 | 3000 |
|---|---|---|---|---|---|---|---|
| avg rt(ms) | 7 | 8 | 12 | 9 | 9 | 10.89 | 1044 |
| 80% rt(ms) | 7.9 | 8 | 11 | 9 | 9 | 10.69 | 1581 |
| 95% rt(ms) | 8.7 | 11 | 25 | 15 | 14 | 24.74 | 2966 |
| cpu | 12 | 22 | 28 | 36 | 47 | 55 | 62 |
| load | 0.5 | 1.5 | 1.5 | 1.5 | 3.5 | 4 | 5 |
Nacos1.X
| tps | 500 | 1000 | 1200 | 1400 | 2000 | 2500 | 3000 |
|---|---|---|---|---|---|---|---|
| avg rt(ms) | 9 | 8.67 | 8 | 9 | 10 | 11.88 | 1038 |
| 80% rt(ms) | 9 | 9.4 | 10 | 9 | 10 | 12.48 | 1090 |
| 95% rt(ms) | 11 | 11.4 | 12 | 14 | 18 | 25.7 | 1170 |
| cpu | 14 | 25 | 30 | 35 | 50 | 60 | 65 |
| load | 0.9 | 1.4 | 2 | 2.5 | 3 | 2.5 | 3.7 |
结果分析
发布配置两者差别不大,TPS 在2500tps左右出现拐点,http和长链接通道的cpu消耗分布类似。长链接对发布配置提升不大。
2. 获取配置
随机获取200个 5K大小配置
Nacos2.0
| tps | 2000 | 4000 | 6000 | 8000 | 10000 | 14000 | 18000（实际15000） |
|---|---|---|---|---|---|---|---|
| avg rt(ms) | 3.3 | 4 | 3.5 | 5 | 7 | 26 | 133 |
| 80% rt(ms) | 2.2 | 2.2 | 2.5 | 2.5 | 4 | 41 | 174 |
| 95% rt(ms) | 3.3 | 4.8 | 5.4 | 24 | 38 | 93 | 238 |
| cpu | 12 | 25 | 37 | 48 | 65 | 83 | 85 |
| load | 1.2 | 2 | 3 | 4 | 5 | 20 | 36 |
Nacos1.X
| tps | 2000 | 4000 | 6000 | 8000 | 10000 | 14000(实际11000) |
|---|---|---|---|---|---|---|
| avg rt(ms) | 3 | 7.4 | 12 | 22 | 46 | 176 |
| 80% rt(ms) | 1.8 | 2 | 4 | 7 | 35 | 185 |
| 95% rt(ms) | 4.4 | 6 | 15 | 33 | 118 | 380 |
| cpu | 15 | 30 | 40 | 52 | 60 | 70 |
| load | 1.1 | 2.2 | 2.5 | 4 | 5.5 | 9 |
结果分析
长链接支撑的读QPS提升50%，CPU消耗降低50%，http的CPU消耗50%在于请求地址解析
3. 监听配置
两者均为单链接监听200配置。
Nacos2.0
| tps | 1500 | 3000 | 6000 |
|---|---|---|---|
| cpu | 30 | 30 | 60 |
| ygc | 0 | 3.75s/次，7次 0.5秒 | 3s/次，10次 1.4秒 |
| cmsgc | 0 | 0 | 0 |
| load | 6 | 14 | 20 |
Nacos1.X
| tps | 3000 | 4000 | 6000 |
|---|---|---|---|
| cpu | 80% | 90% | 80% |
| ygc | 3s一次，10次耗时0.5s | 2s一次，15次耗时1.5s | 1.5s一次，20次耗时1.3秒 |
| cmsgc | 3s一次，10次耗时18s | 4.5一次，7次耗时10s | 7.5s一次，4次耗时5s |
| load | 6 | 8 | 11 |
结果分析
gRPC以1500tps持续变更推送，可以保证系统指标稳定，超过1500tps，系统内存和load持续升高，但完全没有CMS GC，CPU也维持在较低的水准。 Http 则有较高的CMS GC，GC耗时严重，CPU损耗高。
4. 长连接容量测试
两者均为单链接监听200配置。快上为同时进行大量配置发布。
Nacos2.0
| count | 6000 | 8000 | 12000 | 15000 | 21000 | 31500 | 42000 |
|---|---|---|---|---|---|---|---|
| 快上时cpu | 40 | 60 | 80 | 77 | 79 | 80 | 74 |
| 快上时load | 1.5 | 3 | 3.3 | 3.6 | 5.45 | 5.6 | 6.3 |
| 快上耗时 | 55s | 55s | 76 | 100 | 80 | 140 | 130 |
| 稳定时cpu | 1 | 1 | 1 | 1.3 | 2.8 | 1.7 | 2.1 |
| 稳定时load | 0.3 | 0.5 | 0.5 | 0.8 | 0.9 | 0.8 | 0.8 |
| gc | 稳定后无GC消耗 | 稳定后无GC消耗 | 稳定后无GC消耗 | 稳定后无GC消耗 | 稳定后无GC消耗 | 稳定后无GC消耗 | 稳定后无GC消耗 |
Nacos1.X
| count | 6000 | 8000 | 12000 | 15000 | 21000 | 31500 | 42000 |
|---|---|---|---|---|---|---|---|
| 快上时cpu | 80 | - | - | - | - | - | - |
| 快上时load | 8 | - | - | - | - | - | - |
| 快上耗时 | 100s | - | - | - | - | - | - |
| 稳定时cpu | 60 | - | - | - | - | - | - |
| 稳定时load | 1 | - | - | - | - | - | - |
| gc | cmsgc频繁，4秒一次 | - | - | - | - | - | - |
结果分析
当连接量达到600时，Nacos1.X的CMS GC已经十分严重，4s一次，基本已经达到极限；反观Nacos2.0，可以继续增长，单从支撑长链接数量角度，Nacos2.0比Nacos1.X支撑7倍以上长链接。
测试结论
单项基础接口压测
- Nacos2.0读QPS 14000QPS，对比Nacos1.X QPS 8000 提升75%。
- Nacos2.0写TPS 2500TPS，对比Nacos1.X无明显提升。
- Nacos2.0支撑长链接40000以上，对比Nacos1.X提升7倍以上。
- Nacos2.0变更推送1500/s, 对比Nacos1.X无明显提升。
注意
- 本测试为对比Nacos1.X版本的测试场景，仅测试单核心接口的能力值，真实模拟场景压测 将在后续版本给出；
- 本测试供给大家作为参考，如有不足或偏差，请指正! 如果对性能有其他需求，可以给我们提issue。