最近kingshard的功能开发节奏慢了许多。一方面是工作确实比较忙,另一方面是我觉得kingshard的功能已经比较完善了,下一步的开发重点应该是性能优化。毕竟作为一个MySQL proxy,如果转发SQL的性能很差,再多的功能都无济于事。所以这个周末一直宅在家里优化kingshard的转发性能。经过两天的探索发现,将kingshard的转发SQL性能提升了18%左右,在这个过程中学到了一下知识。借此机会分享一下,同时也是督促一下自己写博客的积极性。:)
1. 发现kingshard的性能瓶颈
首选,对kingshard进行性能优化,我们必须要找到kingshard的性能瓶颈在哪里。Go语言在性能优化支持方面做的非常好,借助于go语言的pprof工具,我们可以通过简单的几个步骤,就能得到kingshard在转发SQL请求时的各个函数耗时情况。
1.1 环境搭建
根据kingshard使用指南搭建一个kingshard代理环境。我是用macbook搭建的环境,硬件参数如下所示:
CPU: 2.2GHZ * 4
内存:16GB
硬盘: 256GB
1.2 性能测试步骤
具体步骤如下所述:
1.获取一个性能分析的封装库
go get github.com/davecheney/profile
2.在工程内import这个组件
3.在kingshard/cmd/kingshard/main.go的main函数开始部分添加CPU监控的启动和停止入口
func main() {
defer profile.Start(profile.CPUProfile).Stop()
fmt.Print(banner)
runtime.GOMAXPROCS(runtime.NumCPU())
flag.Parse()
....
}
4.重新编译工程, 运行kingshard
./bin/kingshard -config=etc/ks.yaml
5.kingshard启动后会在终端输出下面一段提示:
2015/10/31 10:28:06 profile: cpu profiling enabled, /var/folders/4q/zzb55sfj377b6vdyz2brt6sc0000gn/T/profile205276958/cpu.pprof
后面的路径就是pprof性能分析文件的位置,Ctrl+C中断服务器
6.这时候用sysbench对kingshard进行压力测试,得到QPS(有关sysbench的安装和使用,请自行Google解决)。具体的代码如下所示:
sysbench --test=oltp --num-threads=16 --max-requests=160000 --oltp-test-mode=nontrx --db-driver=mysql --mysql-db=kingshard --mysql-host=127.0.0.1 --mysql-port=9696 --mysql-table-engine=innodb --oltp-table-size=10000 --mysql-user=kingshard --mysql-password=kingshard --oltp-nontrx-mode=select --db-ps-mode=disable run
得到如下结果:
OLTP test statistics:
queries performed:
read: 160071
write: 0
other: 0
total: 160071
transactions: 160071 (16552.58 per sec.)
deadlocks: 0 (0.00 per sec.)
read/write requests: 160071 (16552.58 per sec.)
other operations: 0 (0.00 per sec.)
Test execution summary:
total time: 9.6705s
total number of events: 160071
total time taken by event execution: 154.4474
per-request statistics:
min: 0.29ms
avg: 0.96ms
max: 14.17ms
approx. 95 percentile: 1.37ms
Threads fairness:
events (avg/stddev): 10004.4375/24.95
execution time (avg/stddev): 9.6530/0.00
按照上述步骤测试三次(16552.58,16769.72,16550.16)取平均值,得到优化前kingshard的QPS是:16624.15
按照上述步骤,直连MySQL。测试直连MySQL的QPS,同样测试三次QPS(27730.90,28499.05,27119.20),得到直连MySQL的QPS是:27783.05。
- 从上述数据可以计算出kingshard转发SQL的性能是直连MySQL的59%左右。
7.将cpu.prof拷贝到bin/kingshard所在位置
8.调用go tool工具制作CPU耗时的PDF文档
go tool pprof -pdf ./kingshard cpu.pprof > report.pdf
2. 性能测试报告分析
通过上述命令,可以生成压测期间主要函数耗时情况。从report来看,主要的耗时在TCP层数据包的收发上面。那我们应该主要考虑如何优化TCP层数据的收发方面。优化TCP传输效率,我首先想到了减少系统调用,每个数据包传输尽量多的数据。
在通过 TCP socket 进行通信时,数据都拆分成了数据块,这样它们就可以封装到给定连接的 TCP payload(指 TCP 数据包中的有效负荷)中了。TCP payload 的大小取决于几个因素(例如最大报文长度和路径),但是这些因素在连接发起时都是已知的。为了达到最好的性能,我们的目标是使用尽可能多的可用数据来填充每个报文。当没有足够的数据来填充 payload 时(也称为最大报文段长度(maximum segment size) 或 MSS),TCP 就会采用 Nagle 算法自动将一些小的缓冲区连接到一个报文段中。这样可以通过最小化所发送的报文的数量来提高应用程序的效率,并减轻整体的网络拥塞问题。
由于这种算法对数据进行合并,试图构成一个完整的 TCP 报文段,因此它会引入一些延时。但是这种算法可以最小化在线路上发送的报文的数量,因此可以最小化网络拥塞的问题。但是在需要最小化传输延时的情况中,GO语言中Sockets API 可以提供一种解决方案。就是通过:
func (c *TCPConn) SetNoDelay(noDelay bool) error
这个函数在Go中默认情况下,是设置为true,也就是未开启延迟选项。我们需要将其设置为false选项,来达到每个数据包传输尽量多的数据,减少系统调用的目的。
2.1 代码修改和性能测试
发现了性能瓶颈以后,修改proxy/server/server.go文件中的newClientConn函数和backend/backend_conn.go中的ReConnect函数,分别设置client与kingshard之间的连接和kingshard到MySQL之间的连接为最小化传输延时。具体的代码修改可以查看这个commit。
修改后我们利用sysbench重新测试,测试命令和上述测试一致。得到的结果如下所示:
OLTP test statistics:
queries performed:
read: 160174
write: 0
other: 0
total: 160174
transactions: 160174 (21291.68 per sec.)
deadlocks: 0 (0.00 per sec.)
read/write requests: 160174 (21291.68 per sec.)
other operations: 0 (0.00 per sec.)
Test execution summary:
total time: 7.5228s
total number of events: 160174
total time taken by event execution: 119.9655
per-request statistics:
min: 0.26ms
avg: 0.75ms
max: 10.78ms
approx. 95 percentile: 1.13ms
Threads fairness:
events (avg/stddev): 10010.8750/38.65
execution time (avg/stddev): 7.4978/0.00
测试三次得到的QPS为:21291.68,21670.85,21463.44。 相当于直连MySQL性能的77%左右,通过这个优化性能提升了18%左右。
总结
通过这篇文章,介绍了通过Go语言提供的pprof对kingshard进行性能分析的详细步骤。对于其他Go语言项目也可以通过类似步骤生成性能报告文档。性能优化的关键是发现性能瓶颈,再去找优化方案。有时候简单的优化,就可以达到预想不到的效果,希望本文能给Go开发者在性能优化方面提供一个思路。最后打个广告:kingshard作为一个支持sharding的开源MySQL中间件项目,目前已经比较稳定了,且经过性能优化后,转发SQL的性能提升了不少。后续我还会在锁和内存方面对kingshard进行优化,敬请期待。