架构师总结的9种OOM常见原因及解决方案( 二 )


5、JVM 将抛出 java.lang.OutOfMemoryError:Unableto createnewnativethread 错误 。
解决方案1、升级配置,为机器提供更多的内存;
2、降低 Java Heap Space 大小;
3、修复应用程序的线程泄漏问题;
4、限制线程池大小;
5、使用 -Xss 参数减少线程栈的大小;
6、调高 OS 层面的线程最大数:执行 ulimia-a 查看最大线程数限制,使用 ulimit-u xxx 调整最大线程数限制 。
ulimit -a .... 省略部分内容 ..... max user processes (-u) 16384
6、Out of swap space?该错误表示所有可用的虚拟内存已被耗尽 。虚拟内存(Virtual Memory)由物理内存(Physical Memory)和交换空间(Swap Space)两部分组成 。当运行时程序请求的虚拟内存溢出时就会报 Outof swap space? 错误 。
原因分析该错误出现的常见原因包括以下几类:
1、地址空间不足;
2、物理内存已耗光;
3、应用程序的本地内存泄漏(native leak),例如不断申请本地内存,却不释放 。
4、执行 jmap-histo:live<pid> 命令,强制执行 Full GC;如果几次执行后内存明显下降,则基本确认为 Direct ByteBuffer 问题 。
解决方案根据错误原因可以采取如下解决方案:
1、升级地址空间为 64 bit;
2、使用 Arthas 检查是否为 Inflater/Deflater 解压缩问题,如果是,则显式调用 end 方法 。
3、Direct ByteBuffer 问题可以通过启动参数 -XX:MaxDirectMemorySize 调低阈值 。
4、升级服务器配置/隔离部署,避免争用 。
7、 Kill process or sacrifice child有一种内核作业(Kernel Job)名为 Out of Memory Killer,它会在可用内存极低的情况下“杀死”(kill)某些进程 。OOM Killer 会对所有进程进行打分,然后将评分较低的进程“杀死”,具体的评分规则可以参考 Surviving the linux OOM Killer 。
不同于其他的 OOM 错误,Killprocessorsacrifice child 错误不是由 JVM 层面触发的,而是由操作系统层面触发的 。
原因分析默认情况下,Linux 内核允许进程申请的内存总量大于系统可用内存,通过这种“错峰复用”的方式可以更有效的利用系统资源 。
然而,这种方式也会无可避免地带来一定的“超卖”风险 。例如某些进程持续占用系统内存,然后导致其他进程没有可用内存 。此时,系统将自动激活 OOM Killer,寻找评分低的进程,并将其“杀死”,释放内存资源 。
解决方案1、升级服务器配置/隔离部署,避免争用 。
2、OOM Killer 调优 。
8、Requested array size exceeds VM limitJVM 限制了数组的最大长度,该错误表示程序请求创建的数组超过最大长度限制 。
JVM 在为数组分配内存前,会检查要分配的数据结构在系统中是否可寻址,通常为 Integer.MAX_VALUE-2 。
此类问题比较罕见,通常需要检查代码,确认业务是否需要创建如此大的数组,是否可以拆分为多个块,分批执行 。
9、Direct buffer memoryJava 允许应用程序通过 Direct ByteBuffer 直接访问堆外内存,许多高性能程序通过 Direct ByteBuffer 结合内存映射文件(Memory MApped File)实现高速 IO 。
原因分析Direct ByteBuffer 的默认大小为 64 MB,一旦使用超出限制,就会抛出 Directbuffer memory 错误 。
解决方案1、Java 只能通过 ByteBuffer.allocateDirect 方法使用 Direct ByteBuffer,因此,可以通过 Arthas 等在线诊断工具拦截该方法进行排查 。
2、检查是否直接或间接使用了 NIO,如 netty,jetty 等 。
3、通过启动参数 -XX:MaxDirectMemorySize 调整 Direct ByteBuffer 的上限值 。
4、检查 JVM 参数是否有 -XX:+DisableExplicitGC 选项,如果有就去掉,因为该参数会使 System.gc() 失效 。
5、检查堆外内存使用代码,确认是否存在内存泄漏;或者通过反射调用 sun.misc.Cleaner 的 clean()方法来主动释放被 Direct ByteBuffer 持有的内存空间 。
6、内存容量确实不足,升级配置 。
推荐工具&产品JVM 内存分析工具 mat1、Eclipse Memory Analyzer
https://www.eclipse.org/mat
阿里云 APM 产品,支持 OOM 异常关键字告警2、ARMS
https://help.aliyun.com/document_detail/42966.html?spm=a2c4g.11174283.6.685.d69b668cuztvff
阿里 Java 在线诊断工具 Arthas(阿尔萨斯)3、alibaba Arthas
https://github.com/alibaba/arthas

原文:https://github.com/StabilityMan/StabilityGuide




推荐阅读