Я попробовал разные ключи и в принципе мне он понравился. Но только я не могу получить файл по состоянию на текущий час.
Что, я каждый раз буду скачивать сырую Россию через osmupdate и скармливать файл в osmium?
У меня началась подготовка к написанию валидатора. Первым делом я хочу скачать какую-то игрушечную версию ОСМ. Думал что это будет просто … ан нет.
Какой способ закачки osm.pbf файлов лучше всего сейчас подходит для того чтобы загрузить в PostGIS? Я пока буду пробовать это в Ubuntu но через месяц попробую и в Windows.
Быстрый поиск советуют osm2pgsql и ogr2ogr. Какой командой сейчас пользоваться лучше? Какая строк(а|и) нужна для того чтобы втянуть данные чтобы с ними поиграться?
А потом этой командой будет пользоваться новый валидатор!
Если что, то я просто использовал osm2pgsql.
osm2pgsql -d gis_osm -H localhost --slim /tmp/kaliningrad-260822.osm.pbf
Вопрос просто общий. А вдруг все предпочитают другие команды или ключи.
Ну вообще-то да. Скачивается какой-то файл, планеты или России, обновляется и обрезается до правильных границ осмиумом.
Второй вариант, один раз скачать файл, и потом в цикле его обновлять и обрезать.
Вот второй раз не понял :) Первый вариант такой:
planet-latest.osm.pbf → osmium → osmupdate (без poly!) → osmium → и т.д.
А какой второй? Или это первый, а не второй 
planet-latest.osm.pbf → osmium → osmupdate (с poly!) → osmium → и т.д.
Или это третий вариант? :)
Я попробую оба варианта. Интересно, изменится ли размер .osm.pbf файла? Почему он существенно меньше в Geofabrik.
Наблюдения показали что osmupdate не совсем совместим с osmium. Не знаю, как это серьезно, но увеличивается время работы. osmupdate проверяет файл!
А когда osmium получил файл приготовленный osmupdate то это заняло 20 минут работы. Он такое же время потратил на чтение планеты! Я не знаю причин, процесс работы osmupdate с osmium занимает больше получаса.
При этом я не смотрел на новый файл тщательно. А он занимает на 10% файл больше чем Geofabrik.
Получается что просто скачать файл с Geofabrik быстро и удобно, а если делать аккуратно своими руками, то долго и неудобно?
Подвожу итоги. osmupdate не совсем совместим с osmium. Такое ощущение что они по разному делают osm.pbf файлы. На их обработку уходит слишком много времени. Примерно 35-40 минут. Это того не стоит.
Позабавили результаты размеров.
Если первый файл был 4358 Мб, то osmupdate без полигона создал файл аж в 4588. А после osmium создал 4366. Ожидаемо!
А если osmupdate запущен с полигоном, то файл уменьшился! Он стал 4170! Но osmium все равно выдал файл 4362. То есть после обрезания файл не уменьшился а увеличился :)
А содержимое тоже что и у Geofabrik.
Моё резюме - они слабо между собой совместимы, они по разному выплёвывают файлы.
1 Like
Я сейчас играюсь с Санкт-Петербургом в PostGIS, поэтому создал osm.pbf файл. Чтобы вы знали более точно:
planet-latest.osm.pbf → osmium → osmupdate (без poly!) → osmium
Дало файл 52 973 кб.
planet-latest.osm.pbf → osmium → osmupdate (с poly!) → osmium
дало 52 782 файл. Разница в 191 килобайт! В чём разница - не знаю. Может где-то лишку обрезал, может где-то лишку дал. Я не знаю. Я просто играюсь с данными. Но если заниматься серьёзно то нужно тщательно проверить! 191 Кб это много.
Это при том что я не нашел такого файла от Geofabrik Я не знаю что будет если бы я сверял с Geofabrik.
P.S. Если что, то во втором варианте osmupdate выдал файл 49 558 кб! 52 782 кб получилось после “обрезки” osmium. То есть та же информация в osmupdate занимает меньше размер чем osmium.
У меня такое ощущение, что Pbf может быть по разному упакован. Можно в osm конвертить, и там уже сравнивать текстовые файлы.
1 Like
На геофабрике процесс другой:
- обновление планеты
- региональные выгрузки
Поэтому им удобно. Вероятно нам тоже нужно следовать этому способу.
file xxxx has no file timestamp – это не страшно. Это просто значит ,что в заголовке файла отсутствует дата, и osmupdate читает все объекты, чтобы узнать, с какого момента надо применять обновления.
1 Like
Честно, я не работаю уже достаточно большой срок, поэтому верю в то что мне говорят. А сейчас все работающие в программирование говорят что наше всё ИИ. Собственно поэтому я решил отказаться от валидатора а помочь молодёжи в создании нового ИИ валидатора.
Но месяц прошёл, а вопрос с ИИ не стал так понятен. Я не знаю что реально делает ИИ, я обращение к ИИ воспринимаю как обращение к мануалу.
“Хочешь знать как программировать? Обращайся к ИИ”. А по факту это звучит как “Хочешь знать как программировать? Обращайся к мануалу”.
В общем я без понятия, как сейчас народ пользуется ИИ. Я - по старинке. Поэтому я буду создавать валидатор сам пользуясь подходом 3-5 летней давностью. Без ИИ :)
Так что начиная с этой недели результаты работы валидатора будут публиковаться как и раньше. Сначала 1 раз в неделю, потом 2-3 раза если будет потребность.
А по вопросам создания новой версии валидатора я создам отдельную тему. Вопросы связанные с разработкой нового валидатора касаются общих тем а не валидатора населённых пунктов и границ.
Молодежь со стариками не сидит. Молодежь пользуется ИИ
Это для простых вопросов нормально, а для сложных - нет. Я подписан в группу OpenStreetMap RU в Телеграмме, там можно обсуждать короткие вопросы.
Задал вопрос в одно-два предложения, получил ответ в один-два параграфа. А на форуме можно сложные вопросы решать.
В общем я завершил попытку делать Россию руками. Намного проще для этого Geofabrik!
-
Скачал wget - planet.osm.pbf. Это заняло 2,5 часа. Но файл понятное уже старый.
-
Скачать последние изменения для планеты. osmupdate потратил аж 2 часа 10 минут. Судя по всему он перепаковывал планету. После обработки файл … стал больше чем на гигабай меньше! За счёт чего?
-
Запустил osmium чтобы он вырезал Россию из Земли. Он очень долго работал …и завис на 90% после часа работы!
А файл скачать с Geofabrik - 5 минут и файл у тебя!
1 Like
А в чем была изначальная проблема с этим файлом? Почему хотелось отказаться от геофабрики?
Была просьба делать валидатор минимум ежедневными, то есть при желании - 2-3 раза в день. Вот я и пробовал свой вариант osm.pbf. Но столько проблем что лучше всего привязываться к общепринятым файлам. Например, Geofabrik. Но только раз в день.
Всё же нужно отделить вопросы к новому валидатору из этой темы. Эта тема про действующий валидатор - Валидатор населённых пунктов и границ.
Вопросы по созданию нового валидатора обсуждаются здесь - Вопросы по новому валидатору данных OSM
Валидатор работает в привычном режиме. Сначала раз в неделю (я сейчас ещё за городом), затем 1-2 раза в неделю, в зависимости от динамики ошибок и запросов.
Ошибок становится больше. Пока не сильно, но увеличилось. Я ещё не смотрел данные, через 1.5 - 2 недели посмотрю.
Параллельно буду создавать новый валидатор. Будет особенно некогда, поэтому ожидаю какой-то вариант только в октябре. Но работа всё равно будет идти.
1 Like
Запустил новый валидатор и нашёл инвалидные данные. Зачем они нужны? Они дублируют информацию!
Вот образец этих данных: Relation: МО Суровикинского района (1683599) | OpenStreetMap
Но эта информация в нормальных данных: Relation: Surovikinsky District (1103657) | OpenStreetMap
То есть просто дубликат данных! Или скажите, зачем они нужны, или удалите. Дублировать данные нет смысла.