Размер процесса - не показатель. JVM если уж откушала кусок памяти, обратно ос его не отдаст, хотя у себя в куче место под другие данные освободит.