Может я конечно не в тему со своей Эстонией и сюда, к вам, но деваться некуда, ЕЕ раздела нет.
Прошу совета. Есть шейпы с кадастрового сервера Эстонии (данные самые актуальные, только сегодня “дернул”), содержащие точки с адресами (только улица и номер дома). Поначалу конвертнул небольшой кусочек для себя, что бы себе внесение адресов упростить, удобно. Далее, в связи со слабой адресацией зданий даже в центре столицы, не говоря уже о более отдаленных местах, появилась идея заимпортить все эти точки на сервер. Один я их все равно не осилю.
Плюсы очевидны:
Удобство получения валидных данных, отпадает необходимость искать корректные адреса и проставлять “скача” между окнами.
Простановка адресов сильно упрощается, достаточно лишь скопировать теги с точки на соответсвующий дом и удалить точку.
Доступность данных другим “ОСМерам”, что в свою очередь, по логике, должно подтолкнуть местных картографов проставлять адреса.
Из минусов, вижу только один
Захламление базы данными, которые в последствии будут удаляться
Собственно, вопрос, стоит эти данные импортировать в ОСМ, или нет?
А у меня есть скрипты, которые берут точку, смотрят нет ли в домика, в который эта точка попадает. и если есть - ставят этому домику данные с этой точки. Могу адаптировать их для ваших целей. Вопрос только в лицензионной чистоте данных. Их можно использовать в ОСМ?
К сожалению, из-за специфики выделения адресов в Эстонии (адреса выделяются не на здания, а на земельные участки), точки далеко не всегда находятся в внутри полигона здания, порой даже ближе к другим зданиям, от полного автомата предпочел бы отказаться и оставить простановку тегов на совести картографов, которые при сомнениях могут и на месте уточнить информацию.
А вот о приблуде к комманд_лайну для упрощения копирования я тоже подумывал. выделил точку и здание, ввел команду, теги на здании, точка удалена. Потом адресным валидатором всему редактируемому куску населенных пункт и индекс проставил.
На счет возможности использования данных в ОСМ, не вижу причин, не позволяющих этого. Данные взяты с официального сайта земельного ведомства Эстонской Республики, доступные каждому. Можно, конечно, для очистки совести уточнить этот момент у представителей данной гос структуры.
Vitalts, думаю, нужно просто выложить ваши файлы с точками для других мапперов и потихоньку кусками импортировать. Для примера посмотрите аналогичный проект — правда, не столько про адреса, сколько про сами домики.
И да, лучше уточнить у них, чтобы быть полностью уверенным.
Zverik, интересное решение, доступность данных падает, но и база не захламляется. Местечко бы где-нить под это дело и продумать процесс донесения информации до местных маперов, самых активных можно и в личке уведомить.
Пока займусь выяснением правомерности использования данных, далее будет видно.
Неплохо бы делать как поступили с импортом GNS - иметь возможность в некой окрестности подкачать данные на дополнительный слой в JOSM и с него уже дергать в основной.
wowik, я так понимаю, это предложение эквивалентно предложению Zverik?
Сделал запрос в земельное ведомство о правомерности использования данных, жду ответа, попутно готовлю данные. Уже надергал самый большой уезд по более меньшим кускам - волостям, так будет удобнее подгружать нужное.
Урааа!!! Получил официальное разрешение на использование данных. Более того, получил доступ к их ftp на котором можно будет еще всяких вкусностей взять в более подробном виде, нежели в шейпах из веб морды (Пока еще даже не пробовал коннектится, решил сразу поделиться радостью с вами)
Покопаю, что там у них, чтобы оценить масштабы работ.
Попутно можно далее поразмышлять о предоставления адресных данных ОСМерам.
wowik, авто подгрузка данных в зависимости от загружаемой зоны в JOSM это очень даже здорово, но как сие реализовано? Отдельный плагин для JOSM?
PS: Предложения вариантов решения и возможного предоставления помощи (в частности, интересует местечно на хостинге, своего пока нет) можно и в ИРКе делать. Он-лайн, как минимум, в рабочие дни 08:00 - 15:00 по Гринвичу (могу ответить не сразу, т.к. время все же, работее).
Zverik, я не понимаю, чем технически отличается ваше предложние:
от предложения wowik
Ибо wowik писал:
Вот и спрашиваю, какого же это оличие? Как в варианте, предложенном wowik, осущесвлена подгрузка данных, чем она оличается от ручного скачивания OSM XML и загрузки в JOSM?
Там и там простое скачивание данных в OSM XML. Разница в отслеживании уже нарисованного. В валидаторе это делается автоматически: в скачиваемый XML не добавляются обозначенные на карте населённые пункты. В самарском проекте добавления домов предварительно подготовленные данные кропотливо сливаются с данными OSM. Автоматизировать такую работу почти невозможно, иначе появятся дубликаты и чёрт знает что ещё. Подход в каждом случае придумывается свой, в зависимости от поставленной задачи.
Для базы адресов приходит в голову две идеи по реализации. Первое — банальные точки с addr:* в OSM XML по регионам. При редактировании они открываются вторым слоем, и нужные данные копируются вручную. Минусы — можно случайно залить не тот слой в OSM, копировать неудобно.
Второе — WMS-слой со впечатанными адресами. Можно его подложить в редактор и переписывать адреса на здания. Минусы — нужно вводить вручную.
Можно ещё что-нибудь придумать. Например, упомянутый сервис: выделяешь объекты, жмёшь кнопку, сервис лезет на сервер, скачивает ближайшие к выделенному адресные точки и пробует расставить. Минусы — нужно писать хитрый плагин и сервер (заточка под один редактор), проверять результаты на корректность никто не будет — адреса могут пропасть, могут попасть не туда.
Если разговор про импорт из Х-GIS Maa-amet, то перед заливкой всё-же рекомендовал бы на местности смотреть что к чему. Данных там очень много, и часть типа лесов - полей уже массовым импортом в ОСМ залита, но на сегодняшний момент данные староваты. Косяков тоже хватает. Например, территория свалки по конфигурации не совпадает с реальной конфигурацией мусорного кургана, снесённые и брошенные дома и гаражи, ангары в базе - те же полигоны что и жилые дома. Да и перестроенные дома местами обозначены старыми не совпадающими по форме полигонами.
pashgan, да, они самые, уже решил, что импорт все же производится не будет. Конвертну данные в OSM XLS и выложу их на всеобщее обозрение. Данные хочу разбить на небольшие регионы, дабы не качать лишнего. Хотелось бы конечно и инструмент, отслеживающий, что внесено, из предоставленных файлов, а что нет, но пока даже голову этим забивать не стоит.
С кривыми импортами с X-GIS уже не однократно сам встречался.
Откликнулся еще один местный ОСМовец, который пару лет назад задавался той же целью, у него уже есть некоторые наработки. ОСМ файлы имеют довольно много ифнормации, но старые и большими кусками, что очень не удобно. Далеко не каждый захочет загружать адресные точки в 42Mb XML.
Вообщем, на данный момент получилось приблизительно так (скрин малой части таблицы): http://pix.am/HIIO.png
Еще не хватает почтовых индексов, их я попробую раздобыть у местного комьюнити.
Адреса пока использовались только “валидные”, всякие хутора, не имеющие в официальном адресе названий улиц и номеров домов, пока скипнул.
Пока это все готовится в полуручном режиме, безумно много процессорного времени занимает подготовка статистики, над этим буду еще работать, есть идеи как ускорить сей процесс. Ну и кончено, все будет по возмоности автоматизироваться.
В дальнейшем, также, намерен прикрутить дифф файлы, содержащие только точки, отсутствующие в ОСМ. Также, этот огромный html (941 строка) будет переделан на пачку мелких с более удобной навигацией.
Ну и подготовить туже кухню для “невалидный” адресов (читай выше), а также, хейвеев, ну и всего остального, если еще что найду интересного.
Теперь же встает вопрос о предоставлении, хотя бы таких данных, общественности. Своего хостинга не имею, есть кто желающий помочь в этом вопросе?
Не думал я, что с адресами настолько туго, даже столица не блещет, хотя, по большей части, это из-за несовпадения спелинга.
ЗЫ: Данные все еще без почтовых инексов
Проанализировал текущее положение дел в Эстонии, и оказалось, что у 80% зданий не прописан даже номер.
Я так понимаю, что тема заглохла, что-то не получилось?
Я правильно понял, что Maa-amet дал полное разрешение на использование своих данных, и даже доступ к каким-то исходникам на фтп?
Недавно я занялся нумерацией зданий. Взял Merkaartor, поставил WMS Маамета фоном, попробовал…
Поняв, что обкликать такой объём в обычных редакторах не удастся, написал собственный скрипт, упрощающий до “набрал номер - нажал enter”.
В данный момент пронумеровал 5500 зданий через него, это около 5%. Один наверное не справлюсь.
Как сообщество относится к такой идее? Есть желающие помочь? Язык не поворачивается сказать “обкликать”, т.к. мышь здесь не потребуется
Работает это так:
Скрипт выбирает рандомное здание (чтобы было честно, и всем городам досталось) у которого нет тега addr:housenumber, и показывает два слоя: на нижнем карту Maa-amet, на верхнем синим цветом - контур здания по версии OSM. Остаётся набрать номер, жать Enter, и показывается следующее.
Выглядит так:
Всё обкликанное сохраняется на мой сервер, потом по желанию - ещё раз проверяется, и запускается экспорт накликанного прямо в API.
(Пока еще даже не пробовал коннектится, решил сразу поделиться радостью с вами)
