Я думаю, при наличии точных координат 6 точек (как географических - в градусах, так и декартовых на карте - в миллиметрах) их можно попытаться подставить в формулу Меркатора для элипсоида и при помощи мнк найти коэффициенты.