K8s JVM 应用在容器中频繁 OOMKilled 但无 Java OOM 日志的排查

问题现象与背景原因

Java 应用 Pod 莫名其妙被 Kill 重启，K8s 事件显示 OOMKilled，但 JVM 堆内存日志里没有任何 java.lang.OutOfMemoryError。

根因是物理机时代的 JVM 参数没考虑容器边界：JVM 实际内存消耗 = 堆(Heap) + 元空间(Metaspace) + 直接内存(Direct Memory) + 线程栈(Thread Stack) + JVM 自身。总和超过容器的 memory limit 时，被 cgroup 直接杀死，JVM 根本来不及打日志。

老版本 JDK（8u131 之前）默认读取宿主机物理内存，可能设了 -Xmx4g 但实际容器只给 2G，必然被 Kill。

排查过程（思路与定位方法）

确认是被 OOMKilled，且退出码为 137：

kubectl describe pod <pod> -n <ns>
# 关注 Last State: Reason: OOMKilled, Exit Code: 137
kubectl get pod <pod> -o jsonpath='{.status.containerStatuses[0].lastState.terminated}'

查看容器内存 limit 与实际 JVM 配置：

kubectl get pod <pod> -o jsonpath='{.spec.containers[0].resources.limits.memory}'
# 检查 JVM 启动参数
kubectl exec <pod> -- ps aux | grep java
# 看是否有 -XX:+UseContainerSupport / -XX:MaxRAMPercentage

若看到固定 -Xmx 且未开 UseContainerSupport，基本可定性。

解决方法

让 JVM 感知容器限制，用百分比而非固定值：

# JDK 8u191+ / 11+ 推荐配置
-XX:+UseContainerSupport \
-XX:MaxRAMPercentage=70.0 \
-XX:InitialRAMPercentage=50.0 \
-XX:MaxMetaspaceSize=256m \
-XX:MaxDirectMemorySize=256m

示例 Deployment 片段：

containers:
- name: app
  image: myjvm:1.0
  resources:
    requests:
      memory: "1Gi"
      cpu: "500m"
    limits:
      memory: "2Gi"
      cpu: "1"
  env:
  - name: JAVA_OPTS
    value: "-XX:+UseContainerSupport -XX:MaxRAMPercentage=70 -XX:MaxMetaspaceSize=256m"

关键：MaxRAMPercentage=70 表示 JVM 堆最多用容器内存的 70%，给元空间 / 直接内存 / 栈留 30% 余量。

操作命令速查

kubectl describe pod <pod> | grep -A3 Last\ State   # 看 OOMKilled / 137
kubectl exec <pod> -- java -XX:+PrintFlagsFinal -version | grep RAMPercentage  # 确认容器支持

经验总结

• 容器内 JVM 必须开 UseContainerSupport + MaxRAMPercentage，不要用固定 -Xmx 对容器”盲配”。
• 堆只是 JVM 内存的一部分，必须给非堆内存（元空间 / 直接内存 / 栈）留余量。
• 看不到 Java OOM 日志 ≠ 不是内存问题，先看 K8s 事件里的 OOMKilled / Exit 137。
• JDK 版本尽量 ≥ 11，容器感知是默认开启的；老 JDK 需显式加参数。