Експорт даних в OSM з проекту nadoloni.com

olehz · 2011-08-17T21:37:29.000Z

Точно, я виклав не у тій проекції (мені так зручніше для рендерігу через mapnik). Давайте в нормальній проекції викладу краще, якщо так зручніше буде?

На php так конвертнути можна:

private function _coordinate2location($cs)
{
    foreach ($cs as $key=>$val)
    {
        $px_py = explode(' ', $val);
        $k = 4096;
        $sx = 9260 * $k;
        $sy = 5600 * $k;
        $ex = 9265 * $k;
        $ey = 5605 * $k;
    
        $px = $px_py[0]*2 + $sx;
        $py = (1024-$px_py[1])*2 + $sy;
    
        $ax = 1.068070779e7;
        $bx = 0;
        $cx = 3.355443185e7;
        $ay = 0;
        $by = -1.068070890e7;
        $cy = 3.355443057e7;

        $px = ($px*$by - $py*$bx - $cx*$by + $cy*$bx) / ($ax*$by - $ay*$bx);
        $py = ($px*$ay - $py*$ax - $cx*$ay + $cy*$ax) / ($bx*$ay - $by*$ax);                

        $py = 2 * atan(pow(exp(1), $py)) - 0.5 * PI(); 
        
        $xx = 180*$py/PI();
        $yy = 180*$px/PI();

        $cs[$key] = str_replace(',', '.', $xx).' '.str_replace(',', '.', $yy);
    }
    return $cs;
}

І є ще проблема, що при промальовуванні доріг я орієнтувався на зовнішній вигляд так аби дороги з різною шириною не перекривались на стиках. Тобто граф шляхів побудувати на основі моїх даних не вийде (а відповідно і пошук маршрутів) - доведеться правити якось. А база компаній використовує стандартну широту / довготу - її дамп викладу трішки пізніше (є ще кілька помилок).

_sev · 2011-08-17T23:38:06.000Z

Дякую за код, але я вже все переконвертував.

Тож, все готове для імпорту. Що сидить в таблиці routes? Схоже на трамвай.

Деякі речі потребують доробки вручну:

areas: вони використовуються для позначення різного викроистання землі, але непослідовно. Тож я буду імортувати з landuse=unknown.

squares: окрім справжніх площей, вони використовуються для позначення заассфалтованих поверхонь. Тож highway=unclassified, area=yes

circles: landuse=grass, але треба перевіряти

будинки не мають ніякого зв’язку з вулицями, номери на них проставлені просто так

З графами біда, тож доведеться з’єднувати докупи ріки і дороги, деякі дороги накладаються, але то я виправлю сам. І так, я використовую ширину дороги для обчислення її класу, що скорше за все буде не зовсім вірно, треба буде передивитися.

Сам імпорт зроблю завтра.

Eugene

_sev · 2011-08-17T23:43:01.000Z

Ще питання до інших. Що робити з існуючими даними, конкретно лісами та дорогами? Доріг зовсім небагато, але вони маю історію змін. Я б такий, щоб все одно їх видалив перед іспортом, бо нові дані набагато більш подробніші.

І ще, всі дані будуть позначатися source="nadoloni.com import’. Може щось ще прописати?

Eugene

olehz · 2011-08-18T05:57:54.000Z

_sev:

Що сидить в таблиці routes? Схоже на трамвай.

Так, це не закінчена таблиця маршрутів громадського транспорту.

_sev:

будинки не мають ніякого зв’язку з вулицями, номери на них проставлені просто так.

http://nadoloni.com/nadoloni.zip - виклав дамп звязки вулиця/будинок і mapnik style XML для зума 18 - можливо так буде зрозуміліше.

_sev:

І так, я використовую ширину дороги для обчислення її класу, що скорше за все буде не зовсім вірно

При рендерінгу через мапнік використовується наступне правило:
SELECT DISTINCT style, (style/$k) AS width, (style/$k + 1) AS width_plus FROM streets, де $k - 2 в степіні zoom (1…6), width - ширина дороги, width_plus - ширина зрвнішнього контуру дороги. Клас доріг мабуть доведеться піправляти вручну.

І заюзайте, будь-ласка тег source_ref з урлом сайту.

dudka · 2011-08-18T07:17:49.000Z

_sev:

І ще, всі дані будуть позначатися source="nadoloni.com import’. Може щось ще прописати?

ще можна додати якись nadoloni:id
так як пишеться в Wiki

Wiki:

You probably have some meta data like the IDs used for your original data. Define your own prefix and use that on all the tags for this data. The TIGER import for instance uses the “tiger:” prefix. The original ID of a TIGER object is tagged as “tiger:tlid”.

Don’t go overboard with meta-data. Your data source may have many many fields but, OSM data elements with many many tags can be difficult to work with. Strike a balance. Figure out (discuss!) what fields the OSM community are interested in.

Буде зручно використати цей ID в разі необхідності повторного імпорту даних

І ще в вікі(розділ Use a dedicated user account) пишуть, що бажано виконувати імпорт окремим юзером.
Можна створити юзера nadoloni.com і ним виконати імпорт.

_sev · 2011-08-18T11:43:23.000Z

Завів користувача nadoloni-com (точку не можна використовувати в імені). Тож починаю потихеньку імпорт. Старі дані видалю, тим більше, що частина з них була зроблена тими, хто ще не прийняв нову ліцензію.

Eugene

_sev · 2011-08-18T13:50:19.000Z

Перший пішов: streets_main changeset. Помилки по більшості не виправляв поки що, бо будуть ще більші зміни з дорогами.

Eugene

_sev · 2011-08-18T14:19:36.000Z

olehz:

_sev:

будинки не мають ніякого зв’язку з вулицями, номери на них проставлені просто так.

http://nadoloni.com/nadoloni.zip - виклав дамп звязки вулиця/будинок і mapnik style XML для зума 18 - можливо так буде зрозуміліше.

Дякую, але можна їх зробити в тій самій проекції, що було раніше? Я просто боюся помилок округлення через подвійну трансформацію.

…Побачив, що то взагалі інша база, до того ж MySQL. Питання, чи id будинків співпадають з базою PostGIS? Сподіваюсь, що так. Те ж саме питання стосовно ключів у onames.

Eugene

dudka · 2011-08-18T14:25:04.000Z

_sev:

Перший пішов: streets_main changeset. Помилки по більшості не виправляв поки що, бо будуть ще більші зміни з дорогами.

пропоную обмежити значення тегу highway
максимум secondary

_sev · 2011-08-18T14:36:25.000Z

dudka:

_sev:

Перший пішов: streets_main changeset. Помилки по більшості не виправляв поки що, бо будуть ще більші зміни з дорогами.

пропоную обмежити значення тегу highway
максимум secondary

А більше і не буде. Там взагалі, така мішанина з дорогами буде… І немає ніякої можливості зробити автоматично, бо недостатньо інформації.

Вже пішли інші імпорти. Скоро закінчу, а вже відношення для адресації удинків зроблю як розберуся з мапінгом між двома базами.

Eugene

_sev · 2011-08-18T18:57:36.000Z

Закінчено завантаження геометрії. Залишилось прив’язати доми до вулиць, і отримати та завантажити POI.

Ну, і, звичайно, треба по всьому цьому ще проходитися вручну і правити, правити. Цим займуся, але, звичайно, допомога не завадить. В першу чергу треба проставити теґи на areas, і з’єднати дорожній граф.

Eugene

_sev · 2011-08-18T20:40:46.000Z

Почав потроху виправляти дороги. Десь приблизно 95% них між собою не зв’язані Але, думаю, за пару днів можна виправити.

Eugene

olehz · 2011-08-19T05:51:06.000Z

Спасибі, Eugene, за пророблену роботу. Сьогодні ввечері буду мати - можу згенерувати дамп у потрібній проекції зі звязкою вулиця/будинок, якщо це ще необхідно. До речі, якщо вірити SASPlanet, імпортовані дані зміщені відносно моїх на кілька метрів. Чи можна це якось підправити?

andygol · 2011-08-19T06:01:03.000Z

olehz:

До речі, якщо вірити SASPlanet, імпортовані дані зміщені відносно моїх на кілька метрів. Чи можна це якось підправити?

Можна. Потрібні GPS-треки по яких можна перевірити, як принаймні лягли основні дороги. Виділити всі данні і пересунути їх так, щоб дороги лягли на треки.

_sev · 2011-08-19T08:41:11.000Z

olehz:

Спасибі, Eugene, за пророблену роботу. Сьогодні ввечері буду мати - можу згенерувати дамп у потрібній проекції зі звязкою вулиця/будинок, якщо це ще необхідно. До речі, якщо вірити SASPlanet, імпортовані дані зміщені відносно моїх на кілька метрів. Чи можна це якось підправити?

Ні, нова база не потрібна. Я в же бачу, що індекси там співпадають, тож мені потрібні тольки зв’язки будинок-вулиця, а вони в даних вже є.

Що потрібно, так це POI, якы э на сайті. Їх вже можна давати у тій проекції що є, бо як я розумію, буде повна адресна інформація. Думаю, що буде краще принаймні по деяким типам, таким, як готелі, переносити теґи прямо на будинки, замість додавання окремої точки.

Ну, і для корекції зміщення потрібно більше GPS треків. Зараз там є трохи у Трускавці, але того дуже мало. По ним здається, що зміщення на північ-схід, десь по 2 метри в кожному напрямку. Чи так в тебе?

Eugene

_sev · 2011-08-21T19:58:30.000Z

Фуух. Щойно залив всі 337 відношень для вулиць. Тож всі отримані на сьогоднішній день дані проекту були завантажені. Довелося трохи “побавитися”, бо при конвертації шейпів воно більше трьохсот будинків переробило на відношення, а вони б не стали у відношення street.

Чекаю на POI.

Між ділом потроху почав виправляти помилки, десь може вже половину зробив. Точніше оприділити тяжко – я не запускав валідатор на всю мапу.

Eugene

Vort · 2011-08-22T09:58:45.000Z

http://www.openstreetmap.org/browse/relation/1722134
name = Шевська вулиця, Линия Биласа М. улица (126656685) в роли street
http://www.openstreetmap.org/browse/relation/1722131
name = Шахтарів провулок, Линия Устияновичей улица (126658929) в роли street

подозреваю что тут что-то не так

_sev · 2011-08-22T16:35:44.000Z

Vort:

http://www.openstreetmap.org/browse/relation/1722134
name = Шевська вулиця, Линия Биласа М. улица (126656685) в роли street
http://www.openstreetmap.org/browse/relation/1722131
name = Шахтарів провулок, Линия Устияновичей улица (126658929) в роли street

подозреваю что тут что-то не так

Да, уже и сам заметил. К сожалению, сейчас исправить быстро не получится, всё осталось дома, я в командировке. Неверно название отношения, само отношение правильное.

Eugene

_sev · 2011-08-24T10:42:19.000Z

Виправив. Правда, з N-ної спрби, бо з мобільним інтерентом воно весь час відвалювалося по тайм-ауту.

Попередні рідейшини були взагалі невірними. По-перше, була зовсім ліва асоціація між нвою вулиці і відношенням, а по-друге, не бралося до уваги те, що деякі вулиці з однаковою назвою існують у всіх чотирьох містах.

Що ще залишилося по імпорту, окрім POI, до речі, olehz, POI мені потрібні бажано в звичайній проекції:

З’єднати дорожній граф. Вже зроблено приблизно 70% роботи, можливо сьогодні і закінчу.

Навести порядок з класифікацією доріг. Я не зможу це зробити правильно, тільки виправлю очевидні помилки. olehz, тут потрібна твоя допомога

Вточнити межі міст. Через те, що Бінгу в цьому місці нема, можна поставити с запасом в 10-20 метрів від останнього будинку. Я це зроблю. Особливо це важливо для правильної адресації, хоча я на відношеннях і проставив addr:city

Після завантаження POI оприділитися з типами landuse. Олег це вже потроху робить, але потрібно вказати типи для всіх landuse, зараз вони по білшості landuse=unknown

Десь так. Взагалі, получається одна з найліпше відмаплених точок в країні. Олег, дякую за дані.

Eugene

olehz · 2011-08-24T11:17:02.000Z

_sev:

POI мені потрібні бажано в звичайній проекції

http://nadoloni.com/poi.zip - Тут дві таблиці. Категорії і точки POI у звичайній проекції.