параметры запуска jar можно определять непосредственно в .jnlp файл. josm много лет запускается через такую модификацию с расширением доступной памяти. кусок вот, изменения выделены.
<j2se version=“1.6+” initial-heap-size=“256m” max-heap-size=“1400m”/>
для больших возможностей можно почитать опции .jnlp