Это плохо. По сути у вас доступно процессу чуть более 1Гб. Это не серьёзно в масштабах ОСМ. Попробуйте ещё уменьшить --hash-memory, т.к. в дефолтный настройках он есть 900Мб.
Вот я их запустил и их потребление по-умолчанию: osmconvert 2.1Гб, osmfilter 1.2Гб