运行 java 进程的 docker 消耗的无法解释的额外内存附加信息
我们拥有:
- 在 docker 容器中运行的 Java 应用
- 没有调用本机代码,没有已处理的启动,没有引用的 DLL / .so 文件。
- JVM args :
-Xmx256m -XX:NativeMemoryTracking=summary
- Docker 硬内存限制设置为
768m
- JVM 似乎正常(正常的 GC 周期,无内存泄漏,无 OOM)
- Docker 内存不断增长,直到达到硬限制 (),从而导致终止并重新启动容器。
768m
问题 :
- 为什么 docker 统计信息内存会继续增长(导致硬内存限制每天都在被击中),尽管 JVM 似乎在其限制范围内运行。
- 对于其他微服务,我们看不到此行为
JVM
在JVM方面,我们没有注意到任何特别的东西:
Docker 统计信息输出:
492.8MiB / 768MiB 64.17%
[ec2-user@ip-10-180-28-222 ~]$ docker exec 34d7 jcmd 1 VM.native_memory summary
1:
Native Memory Tracking:
Total: reserved=1731355KB, committed=472227KB
- Java Heap (reserved=262144KB, committed=262144KB)
(mmap: reserved=262144KB, committed=262144KB)
- Class (reserved=1131805KB, committed=92829KB)
(classes #16224)
(malloc=7453KB #20996)
(mmap: reserved=1124352KB, committed=85376KB)
- Thread (reserved=29932KB, committed=29932KB)
(thread #30)
(stack: reserved=29772KB, committed=29772KB)
(malloc=94KB #151)
(arena=66KB #55)
- Code (reserved=255659KB, committed=35507KB)
(malloc=6059KB #9814)
(mmap: reserved=249600KB, committed=29448KB)
- GC (reserved=15369KB, committed=15369KB)
(malloc=5785KB #547)
(mmap: reserved=9584KB, committed=9584KB)
- Compiler (reserved=190KB, committed=190KB)
(malloc=59KB #858)
(arena=131KB #6)
- Internal (reserved=7849KB, committed=7849KB)
(malloc=7817KB #18468)
(mmap: reserved=32KB, committed=32KB)
- Symbol (reserved=20018KB, committed=20018KB)
(malloc=17325KB #175818)
(arena=2693KB #1)
- Native Memory Tracking (reserved=3558KB, committed=3558KB)
(malloc=10KB #120)
(tracking overhead=3548KB)
- Arena Chunk (reserved=4830KB, committed=4830KB)
(malloc=4830KB)
跑步约20小时后
649.6MiB / 768MiB 84.59%
[ec2-user@ip-10-180-28-222 ~]$ docker exec 34d7 jcmd 1 VM.native_memory summary
1:
Native Memory Tracking:
Total: reserved=1741020KB, committed=510928KB
- Java Heap (reserved=262144KB, committed=262144KB)
(mmap: reserved=262144KB, committed=262144KB)
- Class (reserved=1138319KB, committed=100495KB)
(classes #16390)
(malloc=7823KB #30851)
(mmap: reserved=1130496KB, committed=92672KB)
- Thread (reserved=30996KB, committed=30996KB)
(thread #31)
(stack: reserved=30800KB, committed=30800KB)
(malloc=97KB #156)
(arena=99KB #57)
- Code (reserved=261330KB, committed=69062KB)
(malloc=11730KB #16047)
(mmap: reserved=249600KB, committed=57332KB)
- GC (reserved=15363KB, committed=15363KB)
(malloc=5779KB #334)
(mmap: reserved=9584KB, committed=9584KB)
- Compiler (reserved=223KB, committed=223KB)
(malloc=92KB #1246)
(arena=131KB #6)
- Internal (reserved=8358KB, committed=8358KB)
(malloc=8326KB #18561)
(mmap: reserved=32KB, committed=32KB)
- Symbol (reserved=20253KB, committed=20253KB)
(malloc=17527KB #177997)
(arena=2725KB #1)
- Native Memory Tracking (reserved=3846KB, committed=3846KB)
(malloc=10KB #127)
(tracking overhead=3836KB)
- Arena Chunk (reserved=188KB, committed=188KB)
(malloc=188KB)
观察
观察20小时后,我们所知道的:
- Docker 统计数据从 跳转到
492.8MiB
649.6MiB
- JVM 提交的本机内存从 跳转到
472227KB
510928KB
- Docker 统计信息和 JVM 提交的本机内存之间的差距似乎正在扩大。(在哪里以及为什么会增长)
649.6MiB - 510928KB
- 在此期间,JVM 统计信息保持正常。
所以我不知道在JVM端我还能调试什么。我知道java需要的不仅仅是堆(因此是原生内存跟踪),但是在jvm原生内存跟踪器报告的内容和docker统计数据所看到的之间仍然有大约150m的差距。我怎样才能更深入地了解记忆的去向?