Короче я до покупки нового ноутбука приостанавливаю попытки создать дамп России. Расскажите тогда где сейчас принято брать бесплатный и нормальный osm.pbf России. Хоть раз в неделю запускать валидатор чтобы отслеживать изменения.
Ну я не я, поэтому решил довести исследование до конца. Перенёс работу с дампами на корпоративный ноут. Он со своими свистелками и переделками и для постоянных запусков не подойдёт, но эксперименты провести может. Зато ноут мощный и быстрый, 2022 года.
В итоге получил результат из дампа планеты:
C:\SHARED>osmconvert RU-latest.osm.pbf --out-statistics
timestamp min: 2005-11-09T09:04:54Z
timestamp max: 2023-02-01T18:59:23Z
lon min: -180.0000000
lon max: 180.0000000
lat min: 41.1057232
lat max: 82.0586232
nodes: 492193026
ways: 47610075
relations: 1672127
node id min: 2
node id max: 10599670724
way id min: 37
way id max: 1137057675
relation id min: 83
relation id max: 15419830
keyval pairs max: 605
keyval pairs max object: relation 270056
noderefs max: 2000
noderefs max object: way 4320001
relrefs max: 29178
relrefs max object: relation 6535292
То есть инструментарий работает. Покспериментирую с этим дампом, но в целом наверное переберусь на чужие дампы - не хочу перегружать свой текущий ноут тяжёлыми дисковыми операциями пока в этом нет особой нужды. На ноуте всё-таки SSD-ка которой более 6 лет.
Вот, я тоже столкнулся с тем, что при обновлении .pbf страны, в нем стали появляться данные из других стран, причем очень далёких. Либо дифы кривые, либо osmupdate шалит… Ещё одна пичаль…
А пример! Очен хочется посмотреть на это чудо. Вы же используете POLY файл при обработке? Он всё отрезает, нет? Бывает появляется в картах чужак - но на поверку это как правило “Посольство”. И это наверное верно.
Сразу не понял. А вы качаете только обновления, а не страну целиком?
Шалит, это точно.
Я как-то обновил и стало лучше
Хм… А никто просто в формате SQL (Postgresql) не делает дампы?
для каждой задачи своя структура бд 
Я не великий кодер, но разве не проще было бы из уже готовой адекватной БД, скопировать как надо?
А то я когда хотел повозиться с БД, меня (вместе с желанием) osm2pgsql просто убил своим быстродействием. А бежать за 128 гб оперативки как-то не очень была идея.
Хотя я не знаю, может уже и парсеры xml с закрытыми глазами пишутся на раз. (это я про гар бд фиас)))
Поскольку какой-то дамп в наличии получился, решил прогнать валидатор. Но перед этим решил обновить ОКАТО/ОКТМО. Какой смысл гнать на старых данных, если кто-то может уже что-то сделал на новых?
Но оказалось что изменения просто грандиозные. Они втащили кучу изменений за 2022 год и кое-что из 2021. В результате код ОКТМО изменился у 10% населённых пунктов! Мне такие изменения вносить в БД потребует какое-то время. Так что прогон валидатора случится скорее всего через несколько дней, когда я полностью обработаю все изменения, и это будет прогон по самой последней версии классификаторов.
Но всё же в слух подведу общую идею последних изменений. В начале нулевых случилась муниципальная реформа. Была идея, что власти на местах лучше понимают как сделать людей на местах лучше. Москва - она далеко, она решает стратегические вопросы, вопросы государственного и межрегионального уровня. Регионы решают вопрос регионального развития, а проблемы людей решают местные органы. У тебя есть местная проблема? Или в местные органы власти и решай! Иерархия власти предполагалась - от людей, к местным органам, дальше районные и только потом Москва.
Но спустя 10 лет что-то пошло не так и нижние уровни власти перестали восприниматься как элементы власти. Теперь всем заведует Москва, которая спускает указания в регионы. Нижние уровни власти оказались не нужны. Это просто чиновники, которые делают то, что им указывают начальники, назначившие их сверху. Москва знает как людям жить. У тебя есть проблемы в селе? Правильно - нужно писать Путину об этом. И лучше перед его ежегодным выступлением, вдруг он его услышит!
Хорошо это или плохо - не мне судить, но в плане АТД это означает сворачивание класса сельских/городских поселений как ненужных. И последние изменения ОКТМО показали существенный отход от идей муниципальной реформы. Ниже района (или как сейчас принято называть - округа) жизни нет. Поэтому после обновления валидатор покажет огромное количество ошибок.
Валидатор обновился! Данные по валидации существенно ухудшились, но это ожидаемо. В начале года Росстат включает все изменения за год, поскольку это имеет отношение к налоговой и бюджетной отчётности. А поскольку происходит активный демотаж муниципальной реформы, то изменения более крупные чем в последние годы.
Смотрите, исправляйте, комментируйте!
Пока планирую запускать валидатор раз в неделю, в какой именно день пока не решил. Валидатор бежит достаточно долго, мне нужно выбирать время когда это удобно. А там посмотрим. Может 2 раза в неделю будет ОК. Ноутбук всё-таки старый и слабый, буду смотреть по его самочувствию.
Как я писал, глобально я хочу переписать валидатор. Но я пока учусь PostGIS-у поэтому о сроках не думаю. Но надеюсь, что смогу таки сделать это к концу года 
Вот ровно эта же проблема. Я из дампа планеты вырезал Россию. Вроде всё ОК. Но при каждом обновлении дампа стали прилетать объекты из других стран. Дамп стал нереально увеличиваться в размерах. За 2 недели прилетело такое количество иностранных релейшенов что смотреть страшно. У меня это было и в октябре. Дамп засирался иностранщиной а в какой-то момент и сломался. Здесь думаю будет тоже самое.
Я не верю что это какая-то проблема ноутбука, это скорее что-то относящееся к osmupdate. Но сейчас на это время тратить не хочу.
Поэтому буду пробовать чужие дампы. Если чужие дампы будут ОК, то всё ОК. Если будут какие-то проблемы (ну я думаю вы понимаете - новые границы и всё такое) то потребуется чужой новый дамп.
Но всё же. Могут быть какие-то проблемы с Poly файлом? Как проверить что poly-файл корректный. Россия переходит через 180 долготу, из-за чего poly получается сложный и JOSM не понимает его. Но я подозреваю что это косяк JOSM. Но в целом - как проверить валидность Poly файла России?
Вот мой poly. Но если что, этот файл работал летом без проблем, пока всё работало на старом десктопе. Всё стало плохо на новой связке osmupdate/osmconvert.
Российская Федерация
1
26.305822 60.026391
27.454846 60.249961
27.814977 60.595005
30.007285 61.801146
31.513054 62.896083
29.909208 63.748200
30.428439 64.055289
29.419312 64.867439
29.666900 65.648374
30.059208 65.736242
28.934208 66.940005
29.955362 67.670043
28.559208 68.188127
28.241900 68.863910
31.543536 70.308306
40.580535 68.594445
47.341142 69.563971
55.041395 75.984793
67.508097 77.392380
78.329156 81.527207
96.884813 81.580364
108.571611 78.457891
109.810387 77.176873
157.726000 77.453586
180.000100 71.978563
180.000100 62.228556
170.584568 59.412463
165.602074 59.097642
163.371505 55.055153
152.379446 46.755774
146.063232 42.977275
145.195109 43.778310
145.612626 44.522727
150.502111 47.098320
151.216981 46.881567
155.853646 52.098430
155.007576 55.189062
155.904602 58.354489
143.002636 59.058035
138.045272 55.827516
143.326325 54.611001
145.250112 48.648880
143.641553 45.835005
142.233810 45.575600
140.958861 45.847062
140.480831 47.860537
135.383055 43.356244
133.854209 42.570997
130.811297 42.098222
130.320130 42.719137
131.170438 43.130050
131.173421 44.406208
130.933045 44.861537
131.876830 45.351739
132.859324 45.098917
133.740488 46.374421
134.555101 48.310001
132.270602 47.621677
130.738508 47.669135
130.442494 48.629332
127.571061 49.643347
126.094900 52.539922
123.665326 53.488274
120.940246 53.252179
120.438472 52.955832
120.793385 52.461515
120.789305 52.031915
119.724566 51.026966
119.320699 50.067878
117.645265 49.410005
114.458561 50.124736
112.285363 49.281576
110.199756 49.123525
108.490168 49.311432
106.857015 50.139896
103.169134 50.119243
102.160801 50.657747
102.110282 51.146684
99.909150 51.725648
99.088964 51.973264
97.985348 51.294237
98.386803 50.415091
98.119976 50.041722
97.358438 49.632422
94.594976 50.012071
92.922367 50.602954
87.314658 48.938548
86.485421 49.426782
84.767866 49.599976
83.809770 50.831469
81.334608 50.642562
80.867064 51.115667
80.060477 50.705692
77.851597 53.251365
76.328104 54.091317
74.112415 53.347598
73.251215 53.453764
73.141069 53.960839
72.496514 53.891177
71.019894 54.095039
70.797157 55.064250
69.072401 55.292271
67.640510 54.697881
62.524864 53.905224
61.541518 53.905142
62.246242 52.956019
61.049914 52.899091
61.081892 52.296715
60.180822 51.936484
61.505930 51.427420
61.702084 51.264359
61.471244 50.793664
60.843007 50.643861
59.500864 50.478004
58.006475 50.894355
56.674217 50.826843
55.551940 50.485789
55.115602 50.774951
54.471427 50.451755
54.078202 51.110944
52.550420 51.423012
52.342806 51.675289
51.479350 51.356702
51.157185 51.550520
48.724774 50.548291
48.934611 50.002576
48.365930 49.735230
47.693331 50.319643
47.063603 49.832386
47.072826 49.035926
46.788873 48.917400
47.247839 48.091464
48.484006 47.612888
49.198964 46.442170
49.976178 46.059764
48.972332 45.443859
47.656947 45.188276
48.176178 43.984461
47.835794 43.127383
48.868133 41.893451
47.711591 41.094918
45.851356 42.044079
44.893744 42.615346
43.796266 42.528359
43.560328 42.797220
41.667458 43.182158
40.166216 43.549903
39.860256 43.176209
36.681576 44.855675
33.804036 44.110885
33.031288 44.436753
33.153326 44.858990
32.259859 45.207132
32.116298 45.497354
32.719224 45.823880
33.528062 46.023616
33.623584 46.313625
35.266340 45.801763
36.625788 45.653426
37.520576 46.844934
38.060793 46.875091
38.290798 47.608888
38.816260 47.874712
39.698212 47.995247
39.900146 48.188709
39.648333 48.589595
39.655378 49.040934
40.008251 49.453704
38.031752 49.885375
37.270932 50.387406
36.669050 50.210020
35.401450 50.363593
35.357281 50.869715
34.077400 51.309541
34.049958 52.149451
32.558336 52.252702
32.204971 52.035851
31.701314 51.996363
31.176288 53.146674
31.528212 53.263297
32.175808 53.114655
32.673404 53.433771
32.403692 53.567310
32.415636 53.702918
31.754654 53.779202
30.730615 54.809451
30.799846 55.313308
30.874846 55.495924
30.355615 55.805169
29.494558 55.697211
28.250814 56.059885
28.138314 56.141936
28.155622 56.451659
27.628087 56.839164
27.700203 57.098607
27.821006 57.214511
27.261368 57.570648
27.583128 57.881857
27.234555 58.866391
28.164672 59.395925
26.563567 59.648317
26.304062 60.009645
END
2
165.079793 55.365099
166.222101 55.743629
168.783639 54.570310
168.195178 54.227747
166.314408 54.510065
165.079793 55.365099
END
3
43.479134 80.536884
44.025499 80.943542
50.085608 81.568461
52.053055 81.474443
52.703090 81.077533
52.730936 81.480103
58.682084 82.255860
64.693172 82.025345
66.872360 81.025942
65.950244 80.452703
62.864817 80.214093
60.955314 79.579410
58.800796 79.378151
54.187183 79.760726
51.417039 79.508528
47.269513 79.666259
43.479134 80.536884
END
4
35.385507 79.919219
35.327730 80.367623
37.991579 80.377448
38.049357 79.929497
35.385507 79.919219
END
5
19.323907 54.443546
19.627495 55.119795
20.655719 55.396688
22.610609 55.162411
22.938751 54.807089
22.814975 54.335903
21.437901 54.313741
19.323907 54.443546
END
6
-179.683624 64.831283
-180.000100 64.742726
-180.000100 69.485804
-174.211119 67.815416
-173.867891 67.498605
-171.317524 67.296075
-168.769503 66.285683
-168.932072 65.307694
-169.832413 65.555804
-170.722476 65.106142
-171.405587 65.102666
-171.681511 64.162740
-172.749809 63.873930
-175.773252 64.426937
-176.820079 65.211946
-178.645052 65.161916
-179.683624 64.831283
END
7
-180.000100 70.486937
-180.000100 71.947199
-177.638159 71.710275
-176.617214 71.267213
-177.339818 70.704055
-180.000100 70.486937
END
8
-179.858579 62.413137
-180.000100 62.478021
-180.000100 63.061670
-179.755665 62.830108
-179.858579 62.413137
END
END
poly как раз не переходит 180, а делится на 2 части по нему.
Валидатор обновился. Взял дамп из геофабрики. Вроде всё ОК, но там поломана Чукотка. Не смотрел детально, но вроде как это проблема дампа. Я позже гляну - это не хватает нескольких точек, тогда добавлю их насильно. Или что-то более глобальное. А пока валидатор будет говорить что граница России сломана в Чукотке на 180-й параллели. Именно поэтому я предпочитал свои дампы до сих пор - всё под моим контролем.
По двум прогонам понял что вряд ли буду гонять валидатор чаще чем раз в неделю. Это делается долго, ноут старый, я не готов оставлять его без присмотра на часы. Минут на 30-40 ОК, но не на 3-4 часа. К ночи это тоже относится.
Пока план такой - стандартный прогон во вторник. Если прогон не удался (что-то сломалось или мне нужно куда-то ехать надолго) то вторая попытка в четверг. Так что текущий план - повторить прогон через неделю, во вторник
Пока что буду поддерживать режим “раз в неделю по вторникам”. Чаще пока не получается. А пока валидатор обновился.
С тем, что там не так в Чукотке ещё не разбирался.
Валидатор вернулся в рабочий режим. Он не любит глобальные изменения, а тут - большие изменения в Беларуси сделанные в последние месяцы. За 3 итерации валидатор всё переварил.
Так что надеюсь что скоро доберутся руки чтобы посмотреть что там не так в дампе с Чукоткой.
Пока придерживаюсь режимом работы по вторникам.
Но вопрос - а могу ли я редактировать прежние сообщения в теме? В этой версии всё выглядит иначе, есть смысл переделать топовые сообщения, но возможности редактирования не нашёл.
Нет, нужно добавлять в конец начиная с жирного заголовка. И так по каждому большому изменению.