Uvoz adresnog registra - plan

[Branko_Kokanovic]

Update: započeo sam sa tehničkim rešenjem za unos adresa. Za sad sam uradio automatsko skidanje podataka iz RGZ-a, iz OSM-a i njihovo upoređivanje i pravljenje izveštaja. Izveštaj možete videti na:

https://dina.openstreetmap.rs/ar/

Prvo vidite listu opština, pa unutar nje listu naselja, pa onda listu svih adresa unutar naselja. Neka naselja imaju veliki broj ulica, pa se može desiti da vam browser zakoči, pazite! Uputstvo za kolone je u vrhu na linku “Pomoć”. Ono što sam primetio je da sve adrese koje imaju kolonu “procenat poklapanja” preko 95% su zapravo male varijacije u imenu ulice. Sve ispod 95% je đubre. Takođe, kolona “Konflacija” za sad ne radi, jer se još nismo dogovorili za tag (moj predlog je ref:RS:kucni_broj).

Sad vas molim da pogledate ovo i da prijavite uočene greške i da date predloge za dalji razvoj (može ovde, ali još bolje na strani gde je kod). Ideja je da sa ove strane možemo i da skidamo delove adresa za import, da pratimo napredak importa, i da imamo uvid u stanje importa (kao i promene na RGZ strani!).

P.S. Dizajn sajta je “ukraden” sa https://addr.openstreetmap.si/, veliki pozdrav za @StefanB - hvala!

[mpele]

Бранко,

Бацио сам поглед на Нови Београд и оно што се може приметити је да је за огроман број ставки где је поклапање 100% удаљеност тачно 0м.
Како се рачуна ова удаљеност, односно како објаснити оволику прецизност?

[Branko_Kokanovic]

E, dobro si primetio! Mislim da je fora u tome što su RGZ geometrije tačke (POINT), a iz OSM-a sam izvadio i POINT-e (node) i POLYGON-e (zatvoreni way) i MULTIPOLYGONE-e (relation). Na Novom Beogradu ima velika količina zatvorenih wayeva, a ukoliko je RGZ tačka unutar tog polygona, onda funkcija Distance(RGZ adresa, OSM polygon) vraća 0 (jer je tačka unutar poligona, jelte). Ne verujem da je specifično za Novi Beograd, već svuda gde su adrese većinski na wayevima. Tamo gde su adrese tačke, videće se razne vrednosti različite od nule. Nadam se da sam uspeo da objasnim.

[Pedja]

@Branko_Kokanovic

Takođe, kolona “Konflacija” za sad ne radi, jer se još nismo dogovorili za tag (moj predlog je ref:RS:kucni_broj).

ref:RS:kucni_broj je ok.

Kako preuzimas podatke sa RGZ s obzirom da je saštićeno obaveznim loginom? Ručno si prekopirao datoteku po datoteku?

[Branko_Kokanovic]

@Pedja

ref:RS:kucni_broj je ok.

Duja je predložio ref:RS:adresa, ali bolje to o tagovanju pričamo na temi o tagovanju. Ovo je opšti plan za uvoz.

@Pedja

Kako preuzimas podatke sa RGZ s obzirom da je saštićeno obaveznim loginom? Ručno si prekopirao datoteku po datoteku?

Toliko lud da kopiram 168 fajlova nisam lud:) Sav kod, pa i taj je isto u repou. Koristim headless browser da se logujem i automatizujem skidanje svega, u ovom fajlu je većina logike.

[mpele]

Моја прва асоцијација је била да је већ неко користио РГЗ за унос адреса

[Branko_Kokanovic]

Nove vesti od mene.

Uspeo sam da programski normalizujem RGZ ulice (iz “VELIKIH SLOVA” u “Velika Slova”), ali naravno ovaj postupak nije idealan, pa prilikom importa treba ovo pregledati.

Usvojio sam (sam sa sobom ) da changeset comment prilikom importa bude “RGZ_AR_Import”. Ako se nekome ne sviđa, nek kaže ovde.

Okačio sam prvu adresu na OSM, ovde: Node: 10702026746 | OpenStreetMap. Ako ima neko nekih zamerki, sad je vreme da kaže. Ako pogledate izveštaj, treba da u opštini ADA i naselju OBORNJAČA vidite 1 konfliranu (jel se tako kaže?) adresu.

Okačio sam novi report na RGZ - uvoz adresa. Od novina videćete da sad u izveštaju broji i OSM objekte i da sad možete da skinete .osm fajlove koji kad se kliknu otvaraju JOSM i spremaju stvari za import. Podelio sam ih na po 100 komada adresa da se unosi odjednom. Voleo bih ako ima neko ko se razume u JOSM da pogleda kako najprostije da neko ko importuje može da pregleda ove importe i da ih upload-uje. Trenutno mi je u glavi da može da se koristi shortcut “1” da se stavi view na sve objekte, da se klikne “download in current view”, da se koristi plugin “Review.Changes” od @DavidKarlas da pregledamo izmene (Davide, ako čitaš ovo, jel može plugin da ima veći zoom kada prelazi sa objekta na objekat, bar u advanced preferences da se doda?) i da koristimo MapWithAI jer on ima mogućnost da spoji adresu sa zgradom (ako za tim ima potrebe). Koje još fore ili pluginove možete da se setite, da nabrojimo pre nego što napišemo uputstvo? Probajte da učitate neki od ovih .osm-a i da vidite kako vam se čini.. Nemojte još da unosite ništa.

Trenutna statistika je obećavajuća, imamo:

• RGZ adresa: 2.428.225
• OSM adresa: 250.193
• Adresa gde nema ništa u krugu od 200m: 1.810.870
• Adresa gde se ime ulice i kućni broj savršeno slažu sa RGZ-om: 193.991
• Ostale adrese: 423.364

Ove adrese što nema ništa u krugu od 200m se lako importuju (to je ovo što sam napravio sad), samo treba voditi računa da je ime ulice pravilno napisano. To su adrese koje se unose sa pola mozga.

Ove gde je savršeno poklapanje se isto unose lako, isto kao i za prethodno ću napraviti .osm fajlove gde se samo učita u JOSM sve, a ti .osm fajlovi će inače samo dodati dva nova taga (“ref:RS:ulica” i “ref:RS:kucni_broj”). Tako da je i to “zicer”. Tako imamo 1.810.870+193.991= 2 miliona adresa.

Ostaju nam ovih 400.000 adresa koje unutar 200m imaju druge adrese, a ne poklapaju se sa RGZ-om. To su razni problemi, od pravopisnih grešaka u RGZ-u i OSM-u, do dodatnih brojeva koji nedostaju (npr. uneto je u OSM “11”, ali fali “11a”) i sl. Na izveštaju ćete ih videti u koloni “Potencijalno poklapanje”, ali neće imati “score” od 100% nego manje. Obično su to i adrese u visoko naseljenim područjima. To će biti najteže rešiti jer je najpipavije.

[Pedja]

Meni nekako izgleda logično da se prvo srede ulice pa kad se unose adrese samo se automatski poveže sa ulicama.

[mpele]

@Branko_Kokanovic

Okačio sam novi report na Serbia RGZ addresses . Od novina videćete da sad u izveštaju broji i OSM objekte i da sad možete da skinete .osm fajlove koji kad se kliknu otvaraju JOSM i spremaju stvari za import. Podelio sam ih na po 100 komada adresa da se unosi odjednom. Voleo bih ako ima neko ko se razume u JOSM da pogleda kako najprostije da neko ko importuje može da pregleda ove importe i da ih upload-uje.

Кад кажеш преглед на шта мислиш? Шта се очекује од онога ко седи за рачунаром?

Иначе, линк за те нове фајлове је на localhost.
И шта значи за ову “конфилирану” адресу да је удаљеност 50m?

пс. Може ли да уместо Conflated стоји нека наша реч?

[Branko_Kokanovic]

@mpele

Шта се очекује од онога ко седи за рачунаром?

Mislio sam da se učita .osm u JOSM (klikom na link), da se stavite u poziciju nekoga ko to treba da importuje, šta vidite od problema, na šta da se obrati pažnja, kako smisliti proceduru da bude što ugodnija i lakša i da se što manje greši. Rezultat treba da bude uputstvo (tekst i/ili video).

@mpele

Иначе, линк за те нове фајлове је на localhost.

Tako i treba. U JOSM-u treba da se u podešavanjima uključi “remote control” i kada je JOSM upali, taj link kada se klikne treba da otvori novi layer u JOSM-u.

@mpele

И шта значи за ову “конфилирану” адресу да је удаљеност 50m?

Znači da sam je ja unosio odokativno pre nego što sam imao .osm fajlove i da sam pogrešio u unosu:) Treba je pomeriti, ali za sad mi dobro služi za testiranje:)

@mpele

пс. Може ли да уместо Conflated стоји нека наша реч?

Nisam iz GIS sveta, tako da bih rado stavio neku stručnu reč, ali ne znam koja je. Ako znaš neku, a da se neko iz GIS sveta ne smeje, reci:) U prethodnom postu sam čak pomenuo reč “konfliranu”, ali zvuči stvarno užasno, tako da sam ostavio “conflated” jer manje uništava jezik nego ova glupost.

[mpele]

@Branko_Kokanovic

@mpele

Шта се очекује од онога ко седи за рачунаром?

Mislio sam da se učita .osm u JOSM (klikom na link), da se stavite u poziciju nekoga ko to treba da importuje, šta vidite od problema, na šta da se obrati pažnja, kako smisliti proceduru da bude što ugodnija i lakša i da se što manje greši. Rezultat treba da bude uputstvo (tekst i/ili video).

Урадио си сјајан посао довде, али сада мораш да нам објасниш свој визију до краја. Или бар да даш скицу процедуре како се ради даље. Мени није јасно како човек може “да мање греши”, односно на основу којих података може да лоција и исправи ту грешку.

[TXBG]

Branko, ako može pojašnjenje. Gledam ovaj spisak za uvoz i tu se nalaze i adrese kod kojih je poklapanje 100%. Da li to znači da se i one uvoze?
Da li je moguće sortirati liste za uvoz po ulicama jer ovo kako je sada mi deluje prilično razbacano. Recimo prvih 100 na NBG, od Milentija Popovića do Vinogradske.

[Branko_Kokanovic]

@mpele

Урадио си сјајан посао довде, али сада мораш да нам објасниш свој визију до краја. Или бар да даш скицу процедуре како се ради даље. Мени није јасно како човек може “да мање греши”, односно на основу којих података може да лоција и исправи ту грешку.

Da, u pravu si, bolje tako. Evo napisao sam uputstvo kako da se unose ove nove adrese na: Serbia/Projekti/Adresni registar - OpenStreetMap Wiki. Ispratite i pogledajte koliko je “pitko” i šta može bolje/lakše. U principu, ne bi trebalo da bude mnogo čudnih situacija, ali ako vidite još nešto van ovog navedenog, javite ovde ili dodajte na wiki.

@TXBG

Gledam ovaj spisak za uvoz i tu se nalaze i adrese kod kojih je poklapanje 100%. Da li to znači da se i one uvoze?

Da, i one se uvoze. Sa tim da za njih uvoz znači samo da dodamo referencu na RGZ (“ref:RS:ulica” i “ref:RS:kucni_broj”), ali to je to. Kada imamo referencu, praviću posle i neki QA izveštaj gde se vidi koliko je greška u udaljenosti i ako se neka adresa izbriše iz adresnog registra… Gledaću da ovaj uvoz bude 100% automatizovan, ako nam OSM zajednica dozvoli, to moramo da pitamo.

@TXBG

Da li je moguće sortirati liste za uvoz po ulicama jer ovo kako je sada mi deluje prilično razbacano.

U pravu si, @TXBG. Sad generišem .osm fajlove tako što sortiram po imenu ulice i onda odsecam po 100 komada (pa negde upadnu delovi koji su razbacani, nekad su ulice u više fajlova…). Ako misliš da bi bilo lakše i preglednije, mogu da izgenerišem .osm fajlove po ulicama (jedan fajl - jedna ulica). Nisam to inicijalno hteo jer onda može da bude 200 adresa za jednu ulicu i 200 fajlova sa po samo 2 adrese. Ali mogu da prebacim na takvo generisanje ako je lakše za import, nije mi problem!

[Duja]

@Branko_Kokanovic

@mpele

пс. Може ли да уместо Conflated стоји нека наша реч?

Nisam iz GIS sveta, tako da bih rado stavio neku stručnu reč, ali ne znam koja je. Ako znaš neku, a da se neko iz GIS sveta ne smeje, reci:) U prethodnom postu sam čak pomenuo reč “konfliranu”, ali zvuči stvarno užasno, tako da sam ostavio “conflated” jer manje uništava jezik nego ova glupost.

To otprilike znači ‘stopiti’ ali mislim da je u našem kontekstu najbolji prevod ‘upariti’. Dakle, uparujemo adrese iz adresnog registra RGZ sa objektima u OSM.

[TXBG]

@Branko_Kokanovic

Ako misliš da bi bilo lakše i preglednije, mogu da izgenerišem .osm fajlove po ulicama (jedan fajl - jedna ulica). Nisam to inicijalno hteo jer onda može da bude 200 adresa za jednu ulicu i 200 fajlova sa po samo 2 adrese.

Mislim da nema potrebe toliko usitnjavati, otišlo bi se u drugu krajnost.

[Pedja]

@Branko_Kokanovic

U pravu si, @TXBG. Sad generišem .osm fajlove tako što sortiram po imenu ulice i onda odsecam po 100 komada (pa negde upadnu delovi koji su razbacani, nekad su ulice u više fajlova…). Ako misliš da bi bilo lakše i preglednije, mogu da izgenerišem .osm fajlove po ulicama (jedan fajl - jedna ulica). Nisam to inicijalno hteo jer onda može da bude 200 adresa za jednu ulicu i 200 fajlova sa po samo 2 adrese. Ali mogu da prebacim na takvo generisanje ako je lakše za import, nije mi problem!

Možda da grupišeš po oblastima, naseljima, mesnim zajednicama, kako gde je zgodnije?

[Pedja]

@Duja

@Branko_Kokanovic

U prethodnom postu sam čak pomenuo reč “konfliranu”, ali zvuči stvarno užasno, tako da sam ostavio “conflated” jer manje uništava jezik nego ova glupost.

To otprilike znači ‘stopiti’ ali mislim da je u našem kontekstu najbolji prevod ‘upariti’. Dakle, uparujemo adrese iz adresnog registra RGZ sa objektima u OSM.

Mislim da se ko nas korsiti izraz “konsolidovan”, ali i to je strana reč.

[Branko_Kokanovic]

Update:

• dodao sam da mogu da se skidaju .osm fajlovi i za 100% poklopljene adrese (tj. tamo gde samo treba da se doda ref:RS:ulica i ref:RS:kucni_broj). To je drugo dugme desno - “Lista fajlova za import (100% poklopljene adrese)”
• dodao sam podršku za neke QA izveštaje. Za sad imamo report za duplicirane ref:RS:kucni_broj tagovi (ukoliko više OSM entiteta pokazuje na isti ref:RS:kucni_broj) i report koji pokazuje adrese koje se nalaze unutar zgrada (ali tu ima svačega, nastaviću na tagging postu). Ostale ideje sam zapisao na Serbia/Projekti/Adresni registar - OpenStreetMap Wiki.
• @Sloba_Marković i ja smo pokrenuli mail sa LWG (Licencing Working Group-om) oko toga da dodamo RGZ na OpenStreetMap. Mislimo da je RGZ licenca public domain koja zahteva da se navede i da treba da se nađemo na osm.org sajtu. To će nam pomoći da budemo pravno sigurni da možemo da importujemo ove podatke. Još čekamo odgovor. Imamo i PR da se dodamo na sajt, ali on čeka LWG.

[Srdjan023 (Srdjan)]

Znam da se malo kasno uključujem u diskusiju ali koja je poetnta dodavanja ref:RS:ulica ako već postoji ref:RS:ulica tag na ulici na kojoj je povezna?

[Branko_Kokanovic]

Nije kasno, bolje sad da razbistrimo i razjasnimo sve!

• Različiti su entiteti u pitanju - ovo su ulice, a ovo su adrese. Za oba postoje nezavisni podaci od države. Adresu čine ulica i kućni broj, ne samo kućni broj.
• Po ovoj logici bi mogao da kažeš “a što ne izbacimo addr:street” iz adrese?
• To što je ulica blizu neke ulice ne znači da ta adresa pripada toj ulici. Ova zgrada ima adrese iz četiri okolne ulice i pitanje je da li su te adrese najbliže ulici kojoj pripadaju. Npr. ovaj broj 105 je bliži Kosovskoj, nego Uglješe Terezina
• Iako ref:RS:kucni_broj automatski implicitno ukazuje na ulicu (jer su ref:RS:kucni_broj jedinstveni), lakše je imati ih i u OSM-u, nego kros-referencirati ih iz državnih podataka

Sa druge strane, slažem se da ref:RS:kucni_broj jedinstveno određuje i ulicu (tj. ref:RS:ulica) i da je redudantan, pa možemo i da ga izostavimo, možeš da kažeš da je onda održavanje lakše. Ja sam ipak za to da imamo i ref:RS:ulica (sutra možemo da ga koristimo da samo analizom OSM-a zaključimo koja je ulica između adresa), ali šta znam, ako je većina da nemamo “ref:RS:ulica” na adresama, ja sam za.

Jedino mi nije jasno šta ti znači kad si rekao da je adresa “povezana” sa ulicom? Koliko znam, adrese (zgrade i čvorovi) nisu nikako povezani sa pripadjućom ulicom (osim ako ne misliš na “addr:street” tag?)