当前位置: 首页 > 编程笔记 >

解决golang内存溢出的方法

岳谦
2023-03-14
本文向大家介绍解决golang内存溢出的方法,包括了解决golang内存溢出的方法的使用技巧和注意事项,需要的朋友参考一下

最近在项目中出现golang内存溢出的问题,master刚开始运行时只有10多M,运行几天后,竟然达到了10多个G。而且到凌晨流量变少内存也没有明显降低,内存状态呈现一种很不健康的曲线。

像这种情况肯定是golang内存溢出了,为此我持续排查了两天,终于找到问题所在,特此记录下。

准备工作

  • 一台较好的环境测试机,单台运行无污染。
  • 压测工具,无论服务是http还是websocket服务,都必须准备好压测工具模拟最真实的用户场景。
  • 将master引入net/http/pprof包,通过http访问获得goroutine、heap信息。
//引入pprof
import _"net/http/pprof"
//在main中加入
go func() {
  log.Println(http.ListenAndServe("localhost:9999", nil))
}()

浏览器访问: http://127.0.0.1:9999/debug/pprof/


获取goroutine信息 http://10.13.132.91:9999/debug/pprof/goroutine?debug=2

获取heap信息 http://10.13.132.91:9999/debug/pprof/heap?debug=2

使用golang tool进行统计分析,go tool pprof -inuse_space http://127.0.0.1:9999/debug/pprof/heap。输入top10可以看出前十占用内存情况,这里我是直接输入png导出图片来查看,以便以后比较。还有两个参数可以选择,-inuse_space顾名思义是正在使用的内存,-alloc_space是已经分配的内存,本次我是一直用-inuse_space进行分析。

开始进行分析

go是一门自己gc的语言,大概两分钟会gc一次。如果有内存泄漏,无非就是两种情况。

  1. 有goroutine泄漏,goroutine“飞”了,zombie goroutine没有结束,这个时候在这个goroutine上分配的内存对象将一直被这个僵尸goroutine引用着,进而导致gc无法回收这类对象,内存泄漏。
  2. 有一些全局(或者生命周期和程序本身运行周期一样长的)的数据结构意外的挂住了本该释放的对象,虽然goroutine已经退出了,但是这些对象并没有从这类数据结构中删除,导致对象一直被引用,无法被回收。

排除掉goroutine泄漏

首先,我利用压测工具对server进行100个websocket连接,模拟用户浏览行为,然后关闭连接。打开浏览器查看goroutine数量,发现新起的goroutine全部已经销毁,没有观察到有泄漏的goroutine,因此排除此情况。

确定是全局变量无回收

排除goroutine泄漏,只能是由全局状态变量引起的。再次用压测工具进行压测然后关闭,使用观察内存情况。使用go tool pprof -inuse_space http://127.0.0.1:9999/debug/pprof/heap输入png导出(在这种情况下,需要等程序gc完再导出,建议等10分钟左右。)


发现问题所在

每次都会遗留这么大概0.5M的内存空间出来,就奇怪,明明整个goroutine退出为什么还有会内存占用?相应的全局变量也会删除该地方的引用。等一下,全局变量,难道是删除的时候没做好配对导致没有真正删除该引用吗?去查了下代码,果然是没有删除引用导致的,至此问题解决。


这里面有个项目的坑,上报日志的key不是根据这个len(map)计算出,导致上报日志的时候以为删除了该key。

后记

为什么会花了两天时间,看起来上述流程并不复杂。

实际上你要完全排除掉goroutine泄漏需要花较长的时间去对比的,查看哪些goroutine是新起来没有关闭。

在使用-inuse_space或者-alloc_space分析,也是很纠结,这些看起来也并不完全与表现对应上。实际上用-inuse_space是较为直观的,可以展现出程序真正在使用的(RSS)。Go 管理内存的方式可能与你以前使用的方式不太一样。它会在一开始就保留一大块 VIRT,而 RSS 与实际内存用量接近。RSS 和 VIRT 之间有什么区别呢?VIRT 或者虚拟地址空间大小是程序映射并可以访问的内存数量。RSS 或者常驻大小是实际使用的内存数量。因此用-inuse_space导出在png图上的统计中,与top上的res值是大致相同。

还有就是每次做压测或者等待golang 完全gc都要耗费不少时间,这样也会排查增加难度。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持小牛知识库。

 类似资料:
  • 本文向大家介绍JAVA内存溢出解决方案图解,包括了JAVA内存溢出解决方案图解的使用技巧和注意事项,需要的朋友参考一下 这篇文章主要介绍了JAVA内存溢出解决方案图解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 1.在apache-tomcat-7.0.70\bin\catalina.bat(Linux 系统则在catalina.sh) 文件下

  • 本文向大家介绍JVM Metaspace内存溢出问题解决方案,包括了JVM Metaspace内存溢出问题解决方案的使用技巧和注意事项,需要的朋友参考一下 一. 现象 前段时间公司线上环境的一个Java应用因为OOM的异常报警,导致整个服务不可用被拉出集群,本地模拟重现的现象如下: 当时的解决方案是增加metaspace的容量:-XX:MaxMetaspaceSize=500m,从原来默认的256

  • 本文向大家介绍linux解决Tomcat内存溢出的问题,包括了linux解决Tomcat内存溢出的问题的使用技巧和注意事项,需要的朋友参考一下 Tomcat本身不能直接在计算机上运行,需要依赖于操作系统和一个JAVA虚拟机。JAVA程序启动时JVM会分配一个初始内存和最大内存给程序。当程序需要的内存超出内存的最大值时虚拟机就会提示内存溢出,并且导致应用服务崩溃。 一、常见的Java内存溢出有以下三

  • 本文向大家介绍ASP在ACCESS中模糊查询"内存溢出"的解决方法,包括了ASP在ACCESS中模糊查询"内存溢出"的解决方法的使用技巧和注意事项,需要的朋友参考一下 今天在日常维护一个网站时,发现该网站的留言程序没有经过严格的验证过滤,导致了将近十万条垃圾数据。而其中又不乏重要信息,需要清理数据,以及增加更为严格的验证措施。 而通过在数据库中直接删除又不太科学,会误删很多重要信息。 通过 模糊查

  • 本文向大家介绍一个JSP页面导致的tomcat内存溢出的解决方法,包括了一个JSP页面导致的tomcat内存溢出的解决方法的使用技巧和注意事项,需要的朋友参考一下 今天新能测试组的同事找我看一个奇怪的现象。一个tomcat应用,里面只有一个单纯的jsp页面,而且这个jsp页面没有任何java代码(想用这个jsp页面测试在她的服务器上的一个tomcat的最大QPS)。但是用loadrunner压测了

  • 本文向大家介绍解决Tensorflow sess.run导致的内存溢出问题,包括了解决Tensorflow sess.run导致的内存溢出问题的使用技巧和注意事项,需要的朋友参考一下 下面是调用模型进行批量测试的代码(出现溢出),开始以为导致溢出的原因是数据读入方式问题引起的,用了tf , PIL和cv等方式读入图片数据,发现越来越慢,内存占用飙升,调试时发现是sess.run这里出了问题(随着f