У крупных городов есть “нулевая верста” (или “нулевой километр”), которая традиционно была возле главпочтампа. При ее наличии других мнений о центре города быть не может, раз уж все расстояния на трассах считаются от нее. Но и то нужно ориентироваться на нее, а не на почту. Сомневаюсь, что при переносе почты будут резко двигать все столбы на куче трасс. Так в Москве нулевым километром считается вделанная в мостовую кострукция возле Красной Площади (хотя есть мнение, что и впрямь главпочтамп).
В мелких поселках часто нет не то, что главпочтампа, но и почтового отделения вообще. А если есть, то называть центром поселка тот переулок на окраине, где это отделение базируется лично мне кажется сомнительной идеей.