Импорт POI с сайтов различных организаций

Константин_Гам · 2012-03-12T16:05:13.000Z

Да уж… представляю себе… я как-то наносил все магазины 7Я просто на слой данных ещё лет 5 назад… задолбался по Питеру только… и неточности были также, а инфа с оф. сайта была.

s777n · 2012-03-12T16:11:46.000Z

Адреса банков или почтовых отделений можно найти на официальных сайтах. Скорее всего можно договориться и с владельцами азс. Адреса сетей кафе -тоже можно найти на официальных сайтах. Просто нужен скрипт собирающий все воедино.

StreloG · 2012-03-12T16:23:39.000Z

GaM:

Да уж… представляю себе… я как-то наносил все магазины 7Я просто на слой данных ещё лет 5 назад… задолбался по Питеру только… и неточности были также, а инфа с оф. сайта была.

Вот мы и можем, сначала что то получить (хотя уже что то и есть), отредактировать/внести в осм, выгрузить тому же 7я, они изменения обратно нам. Польза для всех. Данные лицензионно чисты (то с этим в осм совсем не понятно то можно, то нельзя, то жарко, то холодно, толи батарЭю приоткрыть, толи форточку), это не только по лицензионной чистоте, но и по стандартизации тэгов.

Константин_Гам · 2012-03-12T17:30:20.000Z

Ну так вопрос в этой базе, соберите, сделайте агрегатор сайтов, договоритесь и единомышленники в сообществе ОСМ всплывут.

StreloG · 2012-03-12T17:38:58.000Z

Еще раз перечитал название ветки, вспомнил в какой стране живу

Ну так вопрос в этой базе, соберите, сделайте агрегатор сайтов, договоритесь и единомышленники в сообществе ОСМ всплывут.

потом придет совет и скажет не легитимно, выпилить

liosha · 2012-03-12T18:06:55.000Z

StreloG:

потом придет совет и скажет не легитимно, выпилить

Угу, это же будет копия гуглового робота, и гуглподаствсуд

s777n · 2012-03-12T18:38:26.000Z

GaM:

Ну так вопрос в этой базе, соберите, сделайте агрегатор сайтов, договоритесь и единомышленники в сообществе ОСМ всплывут.

Я постепенно пишу валидатор. Пока по почте и отделениям сбербанка. Потому что эти данные легко доступны. Ничего не мешает его расширить…

Zkir · 2012-03-12T18:46:31.000Z

А идея между прочим, совсем неплоха, если ее развить. Придумать некий стандарт, наподобие robots.txt, только с адресами и телефонами, и продвинуть его в массы вебмастеров. типа файл poiinfo.xml должен лежать в корне сайта. Потом по тегу website его вычитывать.

Может что-то подобное уже есть?

esaulenka · 2012-03-12T18:52:34.000Z

Hind:

как назвать тему, куда вынести ваш оффтопик?

Импорт POI с сайтов различных организаций.

PS вот, например, ещё один вариант импорта: школы. Там тоже дальше идеи не продвинулось, но данные есть в открытом доступе и вполне читаемом (имхо) виде.

StreloG · 2012-03-12T19:07:34.000Z

esaulenka:

Там тоже дальше идеи не продвинулось, но данные есть в открытом доступе и вполне читаемом (имхо) виде.

http://www.ntagil.org/edu/uchrezdeniya.php родная деревня и наверняка еще куча городов

StreloG · 2012-03-13T00:40:10.000Z

Zkir:

А идея между прочим, совсем неплоха, если ее развить.

Я и не говорил что все вылизано и готово, приводил некие примеры (может несколько и не удачные), но спасибо за поддержку

В связи с выделением в отдельную ветку, хотелось уточнить (не совсем про импорт, про пои, и про сайты различных организаций шла речь).

возможно ли наладить на постоянной основе запросы на данные, создать валидатор на основе этих данных

опять же повторюсь, остальное были некие абстрактные примеры.

TarzanASG · 2012-03-13T04:21:36.000Z

Zkir:

Придумать некий стандарт, наподобие robots.txt, только с адресами и телефонами, и продвинуть его в массы вебмастеров.

Здорово!!! Мне нравится.

Только вот неужели никто раньше не придумал… Надо посмотреть где-нибудь в микроформатах чтоль, не знаю…

Hind · 2012-03-13T05:08:43.000Z

Мне тоже такая мысль давно в голову приходит. Но как бы сделать это популярным, тоже вопрос. Понятно, что в этом заинтересованы сами организации.

Да даже зафорсить использование тега и то неплохо. Правда, он не даёт никакой формальной информации об учреждении, но интересно было бы написать паука, собирающего все такие теги со ссылками на страницу и предположительном названии и телефонах (из и всяких contact.htm). Будет выдавать пакет нодов с предварительными тегами, а уж потом можно импортировать вручную, как с address.py. Новичкам в руки не давать.

vvoovv · 2012-03-13T06:52:39.000Z

Мое сообщение #2 перенесено сюда неверно. Оно адресовано Совету. Поскольку на совет вышел Московский департамент по транспорту.

Ezhick · 2012-03-13T07:08:52.000Z

Во, обсуждение пошло в нужную сторону. Нужен не валидатор, а стандарт ввода и обновления информации. Грубо говоря - аналог системы в поисковиках, когда можно поисковику скормить sitemap. Давайте разработаем такой стандарт (с учетом российских реалий, не замахиваясь пока на остальной осм), инструментарий для его обработки (проверка на наличие пои в базе, заливка) и попробуем его предложить а)вебмастерам б)сетевым организациям/магазинам и т.д.

И единственное НО, которое ставить все описанное выше под сомнение - предлагая кому-то что-то добавлять в ОСМ нужно показать, как это будет выглядеть на карте. То есть нужна а)отображалка пои на карте б)поисковик по ним. И это задача номер 1, первый абзац - явно номер 2.

Ezhick · 2012-03-13T07:11:23.000Z

И да, пункт 1+ это экспорт пои в разнообразные форматы для навигаторов. Если меня кто-то научит пользоваться гитхабом или чем-то похожим, то я выложу для допиливания свой скрипт экспорта пои в формат покетгис. Прикрутить к нему экспорт куда-то еще - дело несложное, просто времени разбираться с другими форматами категорически нет.

vvoovv · 2012-03-13T07:42:50.000Z

Ezhick:
Быстрее чем http://help.github.com не научит никто.
Для самого первичного знакомства, позволяющего выкладывать код, достаточно прочитать разделы “Set Up Git” и “Create A Repo”

s777n · 2012-03-20T16:09:49.000Z

Как более реальный вариант: сделать репозиторий с базой данных и скриптами сбора инфы с сайтов.

Dmytro_Ovdiienko · 2013-01-01T19:48:29.000Z

Думаю, аккумулировать автоматом все подряд не имеет смысла. К примеру, никому не нужны адреса магазинов тряпок, коих по городам как грибов. И сегодня они торгуют куртками - завтра ботинками. Интересуют только важные объекты типа заправок, аптек, ресторанов, банкоматов, СТО.

Еще вопрос как мержить данные? Должна быть какая-то связь между точками в OSM и точками в GPX/XML файлах, которые поставляют организации, чтобы в случае обновления/удаления точки в GPX автоматически обновлялась/удалялась точка в OSM.

Dmytro_Ovdiienko · 2013-01-01T21:52:59.000Z

Мне кажется, не стоит заливать данные организаций в OSM. Слишком разные цели у участников:

OSM маперы делают свою работу в большинстве своем качественно, достоверно и бесплатно.
Организации же управляются деньгами. Как результат - их данные будут обновляться только тогда, когда начальство согласится проспонсировать работу. Да и за достоверность данных нельзя ручаться - мало ли кому они поручат выполнять поддержку даных. Очень часто их данные не актуальны. Если же в процессе заливания данных будут какие-то проблемы (во время merge), организации могут вообще отказаться от этого сервиса.

Думаю, правильнее всего сделать отдельную базу данных для POI. Есть уже много реализаций типа 2gis, нужно найти такую, которая подходит нам по духу и интегрироваться. Если такой нет - сделать новую.