Валидатор населённых пунктов и границ (http://atd.openstreetmap.ru)

fserges · 2014-11-17T12:59:38.000Z

Поскольку валидатор НП и границ стал валидатором и моих данных связанных с АТД но не связанных с ОСМ, появился дополнительный стимул в улучшении работы валидатора. Уже улучшен алгоритм выявления “желтых” НП (т.е. НП которым удаётся сопоставить ОКТМО но которые попали в поселение в виду отсутствия оного), хотя ещё не все случаи отработаны. Также исправлена ошибка с центрами НП состоящими из нескольких районов. По ходу правятся и неточности в ОСМ.

Более серьёзные работы перенёс на период отпуска благо он будет довольно скоро а куда либо ехать в текущей ситуации накладно (если далеко) или скучно (если близко).

fserges · 2014-11-24T14:03:29.000Z

Поскольку дамп на ГИС-Лабе появился очень поздно, сегодня валидатор обновляться не будет, я не успею забрать результаты до конца рабочего дня. Обновление будет завтра.

Учитывая что ГИС-Лаб стал не очень надёжным поставщиком данных буду делать самостоятельную выгрузку, но поскольку задача требует некоторое время на решение то займусь этим в отпуске, в декабре.

fserges · 2014-11-26T12:59:49.000Z

Дампы на ГИС-Лабе появились, но время их появления оказалось непредсказуемым. Сегодня (если смотреть на время в логах) он появился не 8 часов позже обычного, вчера на 13 часов. У меня поднята автоматизация которая ожидает некоторое осмысленное время после отваливается (валидатор бежит на сервере на котором выполняются также и другие задачи).

Поэтому сегодня утром запустил валидатор на самом свежем на тот момент дампе, т.е. вчерашнем. Дальше посмотрим.

fserges · 2014-11-27T17:35:07.000Z

Уф, появился новый дамп вовремя … так что сегодня будет апдейт.

Из плохого - в пакете http://www.openstreetmap.org/changeset/27036467 были испорчены 3 поселения несколько недель отрисованные пользователем dair … Но судя по количеству добавленного весь пакет откатывать не стоит а частично - надо.

dair · 2014-11-27T17:38:14.000Z

fserges:

Из плохого - в пакете http://www.openstreetmap.org/changeset/27036467 были испорчены 3 поселения несколько недель отрисованные пользователем dair … Но судя по количеству добавленного весь пакет откатывать не стоит а частично - надо.

Ну там все равно Паратунское СП заметно расширили недавно, так что переделывать.

P.S. А, там не сломано, а просто удалено… тогда переделывать пока не буду.

fserges · 2014-11-27T20:09:24.000Z

Обновил валидатор после нескольких дней простоя … помимо текущих изменений влил последние доступные изменения в ОКТМО после чего статистика значительно просела что показывает что всё-таки данные по АТД в целом вносятся с опозданием а не с опережением (тогда обновление наоборот бы улучшало статистику). Я подготовил файлы с новым классификатором, хотел выложить здесь … и забыл на работе. Так что не смогу пошарить

А нового там не много. К сожалению, нет долгожданных обновлений по Красноярскому краю и Дальнему Востоку. Из изменённого - ещё два муниципальных района в Калининградской области преобразованы в городские округа, один пгт в Рязанской области стал посёлком (соответственно городское поселение стало сельским), какие-то изменения в Мордовии. Также появилось деление города федерального значения Севастополь на округа.

lenux · 2014-11-28T04:06:23.000Z

fserges так если проект на столько значимый для других проектов, то почему бы для него не выделить отдельную машину? (да, уже задавал)

fserges · 2014-11-29T14:19:56.000Z

Долго взвешивая “за и против” решил отказаться от учёта части “разъезд” как имени, т.ч. теперь станции и разъезды обрабатываются одинаково. Статистика немного подросла.

lenux:

fserges так если проект на столько значимый для других проектов, то почему бы для него не выделить отдельную машину? (да, уже задавал)

Нет смысла решать проблемы которые не решают какие-то существенные проблемы. Выделение машины концептуально не меняют ничего но отнимают время и деньги на поддержку. Я более беспокоюсь за back-up так как валидатор Dezhina по слухам накрылся из-за отсутствия копии. Поэтому у меня всё сделно в виртуалке с полной копией рабочей среды развёрнутых на двух машинах.

Если посмотреть на планы то сейчас я более заинтересован в переходе на свои дампы, т.к. дампы от ГИС-лаба хотя и удобны но не оптимальны хотя бы в виду того что на них граница РФ всегда разорвана. После этого в задачах - портирование на другию платформу, которая не требует лиценции на софт, что позволит его гонять не только мне, если возникнет такая потребность. Ну и где-то там в горизонте планирования - переход на PostGIS, что позволит его держать и на Рамблер и включать разные сложные алгоритмы на геометрию. Но это работа явно не ближайших месяцев.

fserges · 2014-12-08T12:49:13.000Z

Валидатор шмякнулся на таком вее:

Биянское
admin_level 8
boundary administrative

https://www.openstreetmap.org/way/316197424

Каким образом пользователь смог залить данные с пустым ключом? Вроде как created_by JOSM/1.5 (7726 ru), т.е. не труды потлачера …

Vitalts · 2014-12-08T12:57:42.000Z

Гы, попробуйте по Ctrl+V вставить тег вида " \tvalue" (пробел, таб, значение), или “\t\tvalue” (таб, таб, значение), вставляется с пустым ключем, а на аплоаде, по всей видимости, проверки нет, ибо считается, что JOSM не позволяет заводить пустой кей. Пичалься, кто-нибудь, оформите.
Ну и у автора правки стоит поинтересоваться, может он каким иным способом вставил сей невалидный кей.

PS: Проверено на 7767

Paspartu · 2014-12-09T07:59:12.000Z

Про невалидные маяки

маяк Маяк Гамов
маяк Маяк Бюссе

fserges · 2014-12-09T08:27:44.000Z

Paspartu:

Про невалидные маяки

маяк Маяк Гамов

маяк Маяк Бюссе

Да, это нужно менять в классификаторе, глазами на такое не натыкался ранее, в ОСМ ничего изменять не надо.
Спасибо!

fserges · 2014-12-11T17:13:46.000Z

Вот этим changeset https://www.openstreetmap.org/changeset/27367100 отношение Центрального ФО было преобразовано из boundary в multipolygon. Поскольку согласно wiki ФО считаются как boundary=administrative то валидатор перестал замечать данный мультиполигон как элемент АТД. Остальные федеральные округа он оставил. Соответственно сегодняшний отчёт будет очень “красным”.

Я откатил указанное изменение как несогласованное и противоречащее текущей Вики - http://wiki.openstreetmap.org/wiki/RU:Key:boundary

fserges · 2014-12-14T13:09:37.000Z

Paspartu:

Про невалидные маяки

маяк Маяк Гамов

маяк Маяк Бюссе

Маяки исправлены (всего их 3 таких), только из-за проблем с дампами это произоршло немного позже чем планировал.

Также исправил небольшую ошибку с alt_name.

fserges · 2014-12-15T12:42:54.000Z

Поскольку дампа на ГИС-Лабе не случилось до сих пор, валидатор остановился. Будем ждать завтра. Но как показывает практика, если была проблема сегодня то чаще всего проблема остаётся и завтра, поэтому возможно придётся перезапускать руками.

fserges · 2014-12-18T18:14:34.000Z

Валидатор отдохнёт следующие 3 или 4 дня - я буду в отпуске.

Предыдущая версия автономной работы перестала действовать пару недель назад из-за каких-то изменений в фаейрволах в сети где стоит сервер а разбираться в чём там проблема сейчас неохота - отпуск будет короткий.
По приезду хочу научиться делать свои дампы, т.к. ГИС-лабовские накладывают ряд ненужных ограничений. Думаю разберусь по инструкциям, вопрос только где можно взять выверенный файл обрезок, т.е. с включением всех островов.

wowik · 2014-12-18T19:02:29.000Z

fserges:

вопрос

Я взял с ГИСлаба и расширил (плагин в JOSM), где не хватало - регионах в четырех-пяти.
Потом стал постепенно уменьшать их безумное количество точек и уменьшать отступы от границ. Ну иногда расширять, чтобы связность приграничных дорог учесть.

fserges · 2014-12-22T18:27:57.000Z

Что-то поздно приехал домой, запускать валидатор смысла нет, результат будет когда я спать буду, запущу завтра.

wowik:

fserges:

вопрос

Я взял с ГИСлаба и расширил (плагин в JOSM), где не хватало - регионах в четырех-пяти.
Потом стал постепенно уменьшать их безумное количество точек и уменьшать отступы от границ. Ну иногда расширять, чтобы связность приграничных дорог учесть.

А мог бы поделиться какой-нибудь промежуточной версией? Понятно что я могу из каких-то соображений поменять что-то, но ГИС-Лабовская обрезка мне показалась не идеальной для меня.

freeExec · 2014-12-22T21:20:31.000Z

Вот я для России делал на основе гис-лабовской. Там кстати пяток раз была обрезана границы, как валидатор работал я не представляю.

wowik · 2014-12-23T06:40:24.000Z

Не в то окошко запузырил http://forum.openstreetmap.org/viewtopic.php?pid=473092#p473092