Да, работа с валидатором планируется. Текущая проблема со слабым железом пока ещё не решена - доступен только слабый и довольно неудачный ноут. Из-за этого это 1-2 прогона в неделю максимум. Но покупка нового ноута по крайней мере видна на горизонте
Более того, я планирую полностью переписать валидатор и в каком-то смысле вернуться к первоначальному валидатору, который был написан на SQL/PostGIS. Я сейчас активно изучаю PostgreSQL, PostGIS. Когда созрею на перемены скорее всего буду задавать вопросы по этим инструментам.
Но валидатор перестал работать по другой причине. Я решил перейти на planet.osm.pbf поскольку у России границы в последнее время стали гибкие. Скачал с официального репозитория.
Использую ousupdate чтобы обновить planet.osm.pbf
Использую ousupdate чтобы вырезать дамп России из planet.osm.pbf
Использую ousupdate чтобы обновить вырезанный дамп России
В итоге всё сначала заработало … но ситуация быстро стала портится. Сначала в дамп России стали прилетать изменения со всего мира. Скажем изменения из Африки и Южной Америки. Очень неудобно, правил руками, но вроде работало.
Потом обновление России стало вылетать с ошибками. Я обновил планету, снова вырезал Россию и быстро всё сломалось.
А потом сломалась и моя обновлённая планета.
То есть инструментарий оказался не совместим с дампами. Я на всякий случай ещё раз всё повторю, вдруг на страницах выложили более свежие бинарники. Но уверенности в том что всё снова будет работать пока нет.
Или расскажите какой сейчас более правильный способ подготовки обновляемого дампа России из планеты, т.е. osm файла.
Ну или где взять действительно актуальные и работающие версии этих бинарников. Я вижу что сырцы есть для более новых версий чем прицеплены к этой странице, возможно к странице прицеплены устаревшие бинарники.
Единственный момен - меня интересуют версии для Windows сейчас. У меня слишком слабый ноут чтобы не него ставить ещё и виртуалку с Линуксом поверху.
Очень странно, возможно у тебя какие-то ошибки при обновлении, а ты их не замечаешь. Попробуй добавить ключ -v
Проблем не испытываю, впрочем, хз чё там внутри дампа, но при фильтрации ничего из Африки не вылезает.
Единственно, что у меня с давних времён стоит объединение не больше 5 файлов
Эх, не прокатило. Скачал я 67Гб планеты отсюда - https://planet.openstreetmap.org/pbf/
Планета старая (недельной давности). Решил обновить планету на сегодня. Запустил обновиться, получил вот такой выхлоп (слегка урезал не существенные строки)
На выходе файл - 21Гб. Для меня это выглядит как то что бинарники выложенные в wiki (osmconvert 0.8.8 + osmupdate 0.4.5) не работают со свежим planet.osm.pbf. При этом в сентябре работало, в конце октября всё сломалось и я уже не могу создавать дампы
На выходе файл в 1Гб хотя должно быть не менее 3Гб. Вот так я закончил борьбу с дампами в октябре, в январе естественно ничего не изменилось. Валидатор встал.
“У России нет никаких границ, у России есть только горизонт” - слова не мои, но мне эти слова часто говорят. Поскольку границы “плавающие”, то лучше иметь процесс настроенный на планету чтобы вырезать любую территорию когда это будет надо.
Да и по идее это не должно быть сложным процессом. До октября прошлого года я делал это много раз и проблем не испытывал. Скачка планеты - пара часов, вырезание дампа страны - менее часа.
Я думаю, что проект существует длительное время и, наверное, можно под него выделить полноценную систему. От варианта подумать над хостингом, до скинуться на хороший производительный ПК.
Не очень понятно с темой параллельностью, нужной памятью и т.д. , возможно, если ситуация будет более ясна, то и комп найдётся.
Предлагаю эту задумку реализовывать в рамках открытого исходного кода. А то малоли что, то снова валидаторов не будет.
Я запустил эту команду, но она кажется будет работать бесконечно на планете … грохнул через 2 часа.
Тем не менее спросил md5 у файла и он оказался другим чем написано на сайте … В общем снова скачиваю планету, но с другого сайта. Посмотрим, что будет дальше.
Update: пост содержит неточную информацию, please ignore.
Короче, я всё равно считаю что версии бинарников не совместимы со свежими дампами. Потратил кучу времени, проверял всё аккуратно.
Скачал planet-230123.osm.pbf с ближайшей ко мне локации (потребовалось чуть больше часа).
Проверил md5 скаченного дампа - такое же как у сервера, всё ОК.
Запустил osmconvert planet-230123.osm.pbf --out-statistics . Получил ожидаемую статистику по дампу. Всё работает.
Попросил обновить и вырезать Россию:
osmupd.exe -v --day --hour --keep-tempfiles -B=RUS.poly planet-latest.osm.pbf RU-latest.osm.pbf
Получил файл 6Гб что странно. Запросил статистику (osmconvert --out-statistics), получил “osmconvert Error: decompression failed: -3”
Попросил просто обновить дамп планеты, без всякий вырезаний.
osmupd.exe -v --day --keep-tempfiles planet-latest.1.osm.pbf planet-latest.osm.pbf
Получил обновлённый дамп в 67Гб. Вроде всё ОК. Запросил статистику (osmconvert --out-statistics), получил “osmconvert Error: decompression failed: -3”
Т.е. до osmupdate/osmcovert всё ОК, после osmupdate/osmcovert - мусор. Я проходил ровно через это в октябре. Сначала всё работало, а в районе 26 октября перестало вообще работать.
Диск проверял, добавлял/удалял кучу файлов на десятки гигабайт. Результат всегда один - “decompression failed”. Короче, я попал в тупик и не вижу смысла пробовать ещё
Могу разве что попробовать из под Убунты, но это эксперимент, так как Убунта у меня реально слабая. Даже если заведётся то это не будет рабочим вариантом. Ну и под Убунтой я с дампами не работал.
Тогда могу предположить что глючит память. Был у меня такой случай, что копируешь файл, а копия битая, в рандомных местах всегда 3 бит в копии выключен.
