Uvoz adresnog registra - plan

[Branko_Kokanovic]

Pozdrav,
Saznali smo nedavno da je adresni registrar dostupan pod otvorenom licencom na https://download-tmp.geosrbija.rs/download/ (registrujte se sa eUprava ID-om). Pod adresni registar se misli na sve kućne brojeve sa lat/long tačkama za celu Srbiju! Otvaram glavni thread da možemo da se sinhronizujemo oko posla ovde… Započeo sam i wiki na Serbia/Projekti/Adresni registar - OpenStreetMap Wiki.

Meni trenutno deluje da treba da ocenimo podatke (šta tu ima, koji je kvalitet…), da se dogovorimo oko toga kako da mapiramo adrese (otvorena posebna tema), da se zatim dogovorimo kako uopšte ovo importovati, i onda da radimo na tehničkoj implementaciji. Na kraju da probamo da uvozimo/uvezemo sve ove adrese. Paralelna sa tim, treba da neko proveri kako da samo sručimo ove adrese u OpenAddresses jer će to biti najveći impact pre nego što išta unesemo.

Što se tiče tehničke implementacije, ja planiram da se bavim time, a ako neko želi da radi na ovome, samo bi bilo dobro da mi se javi, da ne dupliramo posao!

Svako ovde može da pomogne sa svojim mišljenjima/iskustvom (tagovanje, kako importovati, kojom platformom), kodiranjem, administracijom (komunikacija sa OpenAddresses i OSM mailing listom za import…) i na kraju dana - samim importom.

Već danas možete da krenete da unosite ove adrese jer su otvoreni podaci, ali možete i da sačekate dok se ne napravi bolji “tooling”.

Voleo bih da ovu temu koristimo za vesti za ovaj uvoz, pa čak iako nemate šta da kažete, bar se pretplatite na ovu temu da dobijate nove odgovore (valjda ova ikonica sa zvoncetom je da dobijate obaveštenja).

[Branko_Kokanovic]

Uspeo sam da skinem sve adrese sa RGZ, da ih projektujem u WGS84 i okačene su ovde: https://openstreetmap.rs/download/ar/20230219/all_addresses.zip (60MB). Tu ima oko 2.4 miliona kućnih brojeva. Sledeći korak je napraviti neku analizu stanja poređenjem RGZ podataka i OSM-a, analizu koja može da se vrti npr. dnevno i koja ispljune neki HTML. Ceo kod (i budući kod) je na OSM Serbia / AdresniRegistar · GitLab

[Duja]

Baš sam nešto ovih dana mislio kako su ti podaci otvoreni i kako bi ih valjalo iskoristiti.

Doduše, voleo bih da pre kućnih brojeva unesemo nedostajuća imena ulica (dotakli smo se toga i na starom forumu), ali tu ja ne vidim puno nade za kompletno automatizovan unos, zbog kompleksne geometrije i na strani Geosrbije i na OSM strani. Tu bi verovatno bilo najbolje rešenje nekakav Mapathon poput ovih što smo imali za gradove, uz eventualni uvoz originalnih podataka u zaseban geoJson lejer. O tome bismo možda mogli u zasebnoj prepisci?

[Branko_Kokanovic]

Da, ulice i import ulica je poseban problem i treba posebna tema. Dosta je i pokrivenost trenutna dobra i bilo bi lepo kad bi neko uzeo da pripremi podatke i napravi mapathon ili slično, ali i ja mislim da je to za posebnu temu.

[Duja]

Ček da izmigriraju stari forum, mislim da će sad već svakog dana. Pričali smo već na tu temu, pa ćemo je izvući iz naftalina.

[Branko_Kokanovic]

Update: započeo sam sa tehničkim rešenjem za unos adresa. Za sad sam uradio automatsko skidanje podataka iz RGZ-a, iz OSM-a i njihovo upoređivanje i pravljenje izveštaja. Izveštaj možete videti na:

https://dina.openstreetmap.rs/ar/

Prvo vidite listu opština, pa unutar nje listu naselja, pa onda listu svih adresa unutar naselja. Neka naselja imaju veliki broj ulica, pa se može desiti da vam browser zakoči, pazite! Uputstvo za kolone je u vrhu na linku “Pomoć”. Ono što sam primetio je da sve adrese koje imaju kolonu “procenat poklapanja” preko 95% su zapravo male varijacije u imenu ulice. Sve ispod 95% je đubre. Takođe, kolona “Konflacija” za sad ne radi, jer se još nismo dogovorili za tag (moj predlog je ref:RS:kucni_broj).

Sad vas molim da pogledate ovo i da prijavite uočene greške i da date predloge za dalji razvoj (može ovde, ali još bolje na strani gde je kod). Ideja je da sa ove strane možemo i da skidamo delove adresa za import, da pratimo napredak importa, i da imamo uvid u stanje importa (kao i promene na RGZ strani!).

P.S. Dizajn sajta je “ukraden” sa https://addr.openstreetmap.si/, veliki pozdrav za @StefanB - hvala!

[mpele]

Бранко,

Бацио сам поглед на Нови Београд и оно што се може приметити је да је за огроман број ставки где је поклапање 100% удаљеност тачно 0м.
Како се рачуна ова удаљеност, односно како објаснити оволику прецизност?

[Branko_Kokanovic]

E, dobro si primetio! Mislim da je fora u tome što su RGZ geometrije tačke (POINT), a iz OSM-a sam izvadio i POINT-e (node) i POLYGON-e (zatvoreni way) i MULTIPOLYGONE-e (relation). Na Novom Beogradu ima velika količina zatvorenih wayeva, a ukoliko je RGZ tačka unutar tog polygona, onda funkcija Distance(RGZ adresa, OSM polygon) vraća 0 (jer je tačka unutar poligona, jelte). Ne verujem da je specifično za Novi Beograd, već svuda gde su adrese većinski na wayevima. Tamo gde su adrese tačke, videće se razne vrednosti različite od nule. Nadam se da sam uspeo da objasnim.

[Pedja]

@Branko_Kokanovic

Takođe, kolona “Konflacija” za sad ne radi, jer se još nismo dogovorili za tag (moj predlog je ref:RS:kucni_broj).

ref:RS:kucni_broj je ok.

Kako preuzimas podatke sa RGZ s obzirom da je saštićeno obaveznim loginom? Ručno si prekopirao datoteku po datoteku?

[Branko_Kokanovic]

@Pedja

ref:RS:kucni_broj je ok.

Duja je predložio ref:RS:adresa, ali bolje to o tagovanju pričamo na temi o tagovanju. Ovo je opšti plan za uvoz.

@Pedja

Kako preuzimas podatke sa RGZ s obzirom da je saštićeno obaveznim loginom? Ručno si prekopirao datoteku po datoteku?

Toliko lud da kopiram 168 fajlova nisam lud:) Sav kod, pa i taj je isto u repou. Koristim headless browser da se logujem i automatizujem skidanje svega, u ovom fajlu je većina logike.

[mpele]

Моја прва асоцијација је била да је већ неко користио РГЗ за унос адреса

[Branko_Kokanovic]

Nove vesti od mene.

Uspeo sam da programski normalizujem RGZ ulice (iz “VELIKIH SLOVA” u “Velika Slova”), ali naravno ovaj postupak nije idealan, pa prilikom importa treba ovo pregledati.

Usvojio sam (sam sa sobom ) da changeset comment prilikom importa bude “RGZ_AR_Import”. Ako se nekome ne sviđa, nek kaže ovde.

Okačio sam prvu adresu na OSM, ovde: Node: 10702026746 | OpenStreetMap. Ako ima neko nekih zamerki, sad je vreme da kaže. Ako pogledate izveštaj, treba da u opštini ADA i naselju OBORNJAČA vidite 1 konfliranu (jel se tako kaže?) adresu.

Okačio sam novi report na RGZ - uvoz adresa. Od novina videćete da sad u izveštaju broji i OSM objekte i da sad možete da skinete .osm fajlove koji kad se kliknu otvaraju JOSM i spremaju stvari za import. Podelio sam ih na po 100 komada adresa da se unosi odjednom. Voleo bih ako ima neko ko se razume u JOSM da pogleda kako najprostije da neko ko importuje može da pregleda ove importe i da ih upload-uje. Trenutno mi je u glavi da može da se koristi shortcut “1” da se stavi view na sve objekte, da se klikne “download in current view”, da se koristi plugin “Review.Changes” od @DavidKarlas da pregledamo izmene (Davide, ako čitaš ovo, jel može plugin da ima veći zoom kada prelazi sa objekta na objekat, bar u advanced preferences da se doda?) i da koristimo MapWithAI jer on ima mogućnost da spoji adresu sa zgradom (ako za tim ima potrebe). Koje još fore ili pluginove možete da se setite, da nabrojimo pre nego što napišemo uputstvo? Probajte da učitate neki od ovih .osm-a i da vidite kako vam se čini.. Nemojte još da unosite ništa.

Trenutna statistika je obećavajuća, imamo:

• RGZ adresa: 2.428.225
• OSM adresa: 250.193
• Adresa gde nema ništa u krugu od 200m: 1.810.870
• Adresa gde se ime ulice i kućni broj savršeno slažu sa RGZ-om: 193.991
• Ostale adrese: 423.364

Ove adrese što nema ništa u krugu od 200m se lako importuju (to je ovo što sam napravio sad), samo treba voditi računa da je ime ulice pravilno napisano. To su adrese koje se unose sa pola mozga.

Ove gde je savršeno poklapanje se isto unose lako, isto kao i za prethodno ću napraviti .osm fajlove gde se samo učita u JOSM sve, a ti .osm fajlovi će inače samo dodati dva nova taga (“ref:RS:ulica” i “ref:RS:kucni_broj”). Tako da je i to “zicer”. Tako imamo 1.810.870+193.991= 2 miliona adresa.

Ostaju nam ovih 400.000 adresa koje unutar 200m imaju druge adrese, a ne poklapaju se sa RGZ-om. To su razni problemi, od pravopisnih grešaka u RGZ-u i OSM-u, do dodatnih brojeva koji nedostaju (npr. uneto je u OSM “11”, ali fali “11a”) i sl. Na izveštaju ćete ih videti u koloni “Potencijalno poklapanje”, ali neće imati “score” od 100% nego manje. Obično su to i adrese u visoko naseljenim područjima. To će biti najteže rešiti jer je najpipavije.

[Pedja]

Meni nekako izgleda logično da se prvo srede ulice pa kad se unose adrese samo se automatski poveže sa ulicama.

[mpele]

@Branko_Kokanovic

Okačio sam novi report na Serbia RGZ addresses . Od novina videćete da sad u izveštaju broji i OSM objekte i da sad možete da skinete .osm fajlove koji kad se kliknu otvaraju JOSM i spremaju stvari za import. Podelio sam ih na po 100 komada adresa da se unosi odjednom. Voleo bih ako ima neko ko se razume u JOSM da pogleda kako najprostije da neko ko importuje može da pregleda ove importe i da ih upload-uje.

Кад кажеш преглед на шта мислиш? Шта се очекује од онога ко седи за рачунаром?

Иначе, линк за те нове фајлове је на localhost.
И шта значи за ову “конфилирану” адресу да је удаљеност 50m?

пс. Може ли да уместо Conflated стоји нека наша реч?

[Branko_Kokanovic]

@mpele

Шта се очекује од онога ко седи за рачунаром?

Mislio sam da se učita .osm u JOSM (klikom na link), da se stavite u poziciju nekoga ko to treba da importuje, šta vidite od problema, na šta da se obrati pažnja, kako smisliti proceduru da bude što ugodnija i lakša i da se što manje greši. Rezultat treba da bude uputstvo (tekst i/ili video).

@mpele

Иначе, линк за те нове фајлове је на localhost.

Tako i treba. U JOSM-u treba da se u podešavanjima uključi “remote control” i kada je JOSM upali, taj link kada se klikne treba da otvori novi layer u JOSM-u.

@mpele

И шта значи за ову “конфилирану” адресу да је удаљеност 50m?

Znači da sam je ja unosio odokativno pre nego što sam imao .osm fajlove i da sam pogrešio u unosu:) Treba je pomeriti, ali za sad mi dobro služi za testiranje:)

@mpele

пс. Може ли да уместо Conflated стоји нека наша реч?

Nisam iz GIS sveta, tako da bih rado stavio neku stručnu reč, ali ne znam koja je. Ako znaš neku, a da se neko iz GIS sveta ne smeje, reci:) U prethodnom postu sam čak pomenuo reč “konfliranu”, ali zvuči stvarno užasno, tako da sam ostavio “conflated” jer manje uništava jezik nego ova glupost.

[mpele]

@Branko_Kokanovic

@mpele

Шта се очекује од онога ко седи за рачунаром?

Mislio sam da se učita .osm u JOSM (klikom na link), da se stavite u poziciju nekoga ko to treba da importuje, šta vidite od problema, na šta da se obrati pažnja, kako smisliti proceduru da bude što ugodnija i lakša i da se što manje greši. Rezultat treba da bude uputstvo (tekst i/ili video).

Урадио си сјајан посао довде, али сада мораш да нам објасниш свој визију до краја. Или бар да даш скицу процедуре како се ради даље. Мени није јасно како човек може “да мање греши”, односно на основу којих података може да лоција и исправи ту грешку.

[TXBG]

Branko, ako može pojašnjenje. Gledam ovaj spisak za uvoz i tu se nalaze i adrese kod kojih je poklapanje 100%. Da li to znači da se i one uvoze?
Da li je moguće sortirati liste za uvoz po ulicama jer ovo kako je sada mi deluje prilično razbacano. Recimo prvih 100 na NBG, od Milentija Popovića do Vinogradske.

[Branko_Kokanovic]

@mpele

Урадио си сјајан посао довде, али сада мораш да нам објасниш свој визију до краја. Или бар да даш скицу процедуре како се ради даље. Мени није јасно како човек може “да мање греши”, односно на основу којих података може да лоција и исправи ту грешку.

Da, u pravu si, bolje tako. Evo napisao sam uputstvo kako da se unose ove nove adrese na: Serbia/Projekti/Adresni registar - OpenStreetMap Wiki. Ispratite i pogledajte koliko je “pitko” i šta može bolje/lakše. U principu, ne bi trebalo da bude mnogo čudnih situacija, ali ako vidite još nešto van ovog navedenog, javite ovde ili dodajte na wiki.

@TXBG

Gledam ovaj spisak za uvoz i tu se nalaze i adrese kod kojih je poklapanje 100%. Da li to znači da se i one uvoze?

Da, i one se uvoze. Sa tim da za njih uvoz znači samo da dodamo referencu na RGZ (“ref:RS:ulica” i “ref:RS:kucni_broj”), ali to je to. Kada imamo referencu, praviću posle i neki QA izveštaj gde se vidi koliko je greška u udaljenosti i ako se neka adresa izbriše iz adresnog registra… Gledaću da ovaj uvoz bude 100% automatizovan, ako nam OSM zajednica dozvoli, to moramo da pitamo.

@TXBG

Da li je moguće sortirati liste za uvoz po ulicama jer ovo kako je sada mi deluje prilično razbacano.

U pravu si, @TXBG. Sad generišem .osm fajlove tako što sortiram po imenu ulice i onda odsecam po 100 komada (pa negde upadnu delovi koji su razbacani, nekad su ulice u više fajlova…). Ako misliš da bi bilo lakše i preglednije, mogu da izgenerišem .osm fajlove po ulicama (jedan fajl - jedna ulica). Nisam to inicijalno hteo jer onda može da bude 200 adresa za jednu ulicu i 200 fajlova sa po samo 2 adrese. Ali mogu da prebacim na takvo generisanje ako je lakše za import, nije mi problem!

[Duja]

@Branko_Kokanovic

@mpele

пс. Може ли да уместо Conflated стоји нека наша реч?

Nisam iz GIS sveta, tako da bih rado stavio neku stručnu reč, ali ne znam koja je. Ako znaš neku, a da se neko iz GIS sveta ne smeje, reci:) U prethodnom postu sam čak pomenuo reč “konfliranu”, ali zvuči stvarno užasno, tako da sam ostavio “conflated” jer manje uništava jezik nego ova glupost.

To otprilike znači ‘stopiti’ ali mislim da je u našem kontekstu najbolji prevod ‘upariti’. Dakle, uparujemo adrese iz adresnog registra RGZ sa objektima u OSM.

[TXBG]

@Branko_Kokanovic

Ako misliš da bi bilo lakše i preglednije, mogu da izgenerišem .osm fajlove po ulicama (jedan fajl - jedna ulica). Nisam to inicijalno hteo jer onda može da bude 200 adresa za jednu ulicu i 200 fajlova sa po samo 2 adrese.

Mislim da nema potrebe toliko usitnjavati, otišlo bi se u drugu krajnost.