RGZ otvorio registar prostornih jedinica - plan za import

Duja · 2021-07-25T17:10:08.000Z

Dodela matičnih brojeva ulicama je enorman posao, teško da se uopšte može uraditi ručno.

Traženje spiska ulica po naseljima je poznat problem koji se može rešiti Overpass Turbo upitom:
https://forum.openstreetmap.org/viewtopic.php?id=66047

Probao sam ovaj predloženi na par naših primera, i lepo radi. Verovatno se da doraditi da se uključe i ulice kojima nedostaje ime:
https://overpass-turbo.eu/s/IFa

Pedja · 2021-07-26T11:14:16.000Z

Prevideo sam da su još pre dve godine momci odradili taj posao i za nivo mesta su već uneseni matični brojevi, tako da je to rešeno i baza je u stvari postala veoma moćna. Pretraga po mestima je sada trivijalan posao.

Što se tiše pretrage ulice, da overpass može sasvim lepo da posluži. Napravio samjedan probni izveštaj za Užice http://editor.osmsrbija.iz.rs/?dataset=srbija%2Fuzice%2Fsrbija-uzice-ulice

Sličan overpass query može da se korsiti i u JOSM-u. Za josm sam napravio n prosto stil tako da vizuelno prikazuej ulice koje nemaju nazive, imaju nazive ali nemaju maticni broj ulice i one sa maticnim brojem ulice. Tako se lako vidi sta treba da se sredjuje.

Nocas sam napravio i alat za pretragu ulica http://editor.osmsrbija.iz.rs/registarulica/

Samo nam treba da konacno kazemo koji tag treba koristiti za maticne brojeve pa da se krene u sredjivanje.

Pedja · 2021-07-26T14:17:19.000Z

Evo sa presečemo.

Usvojena je sledeća šema označavanja državnih matičnih brojeva

ref:RS:ulica
ref:RS:naselje (za admin_level=9)
ref:RS:opstina (za admin_level=8)
ref:RS:grad (za admin_level=7)

Po ovoj šemi se mogu dodavati i novi tagovi za sve označavanje matičnim brojevima na državnom nivou.

I za druge namene se mogu uvoditi tagovi ref:RS:xxx ako se radi o identifikatorima na nivou drzave, a gde xxx označava koji je identifikator.

Primer: ref:RS:nkd - Identifikatori nepokretnih kulturnih dobara u Srbiji.

Ako se radi o identifikatoru na nekom nižem nivou onda se koristi sema ref:RS:nnn:xxx gde je nnn oznaka entiteta koji je uveo identifikator a xxx je oznaka identifikatora. Jedan entitet moze da ima više vrsta identifikatora.

Podržali: Nemanja, Duja Vanja, Branko, Pedja…

Zaključak je da podvarijanta sa ref:RS:ulica_mb nije potrebna jer se radi o ref tagu pa je ocigledno da tu ide identifikator, što znači da ne mora sam naziv da sadrži tu informaciju. Bez _mb je kraci tag a i lakše se kuca bez podvlake.

Tag ref:sr:maticni_broj koji je upotebljen za adiministrativne granice se ovim izbacuje iz upotrebe. Postojeće oznake treba preimenovati prema novoj šemi.

Javlja li se neko dobrovoljno da to uradi?

Branko_Kokanovic · 2021-07-26T14:52:43.000Z

Javljam se ja da uradim ovo. Mislim da bih mogao do kraja avgusta (ako neko zeli ranije - slobodno)

Duja · 2021-07-26T14:55:15.000Z

Taman sam krenuo da kucam da bi to morao Branko ili Vanja, kad me preteče. Vidiš kako radi na telepatiju.

Pedja · 2021-07-26T15:49:49.000Z

To može za sekund:

U JOSM uradis pomocu overpass upita selekt svih relacija koje imaju odgovarajući admin_level i ref:sr:maticni_broj i povuces podatke
uradis select all u JOSM (Ctrl+A)
u editoru tagova nađeš ref:sr:maticni_broj i kliknes na edit. Prikazaće ti da ima multiple values
kliknes na ref:sr:maticni_broj i preimenuješ ga u odgovarajući ref:RS:* i na OK da potvrdis. Svim objektima će biti preimenovan taj tag
uploadujes izmene na OSM

E sad, ko ima petlju da to uradi

Pedja · 2021-07-26T18:37:56.000Z

https://openstreetmap.rs/kartografisanje-administrativnih-granica-na-mapi-srbije/

Pedja · 2021-07-30T17:55:10.000Z

mpele i ja smo veceras svim naseljima izmenili ref:sr:maticni_broj u ref:RS:naselje.

Treba da se saceka da overpass azirira svoje podatke pa ce onda moci ref:RS:naselje da se koristi u upitima.

Branko_Kokanovic · 2021-08-02T21:04:30.000Z

https://www.openstreetmap.org/changeset/109051890 - promenio ref:sr:maticni_broj u ref:RS:opstina za admin_level=8. Malo me brine što sam promenio za 143 relacije, a na opendata.geosrbija.rs sajtu kaže da ima 198 (ili 169 bez kosova)…moraću na kraju da provučem to kroz onaj moj program što proverava…

Pedja · 2021-08-04T11:07:24.000Z

Branko je juče otkrio na kada se na OSM izdvoje i prikažu granice samo opština, postoje rupe - nije cela površina Srbije pokrivena opštinama. Utvrdio je da su razlog gradovi. Naime, imamo dosta gradova koji uopšte nemaju više opština već grad uejdno ima ulogu i opštine (zvanično ih tretiraju kao gradovi-opštine).

Usput smo otkrili da u zvaničnoj nomenklaturi pored naselja postoje i gradska naselja (analogno gradskim opštinama i gradovima opštinama), mada to z aOSM nije naročito važno.

Na primer kada se gledaju administrativne jedinice, postoje gradovi koje nemaju opštine, a kada se gleda Adresni registar, on vidi opštine a ne gradove, pa tada na gradove-opštine gleda kao na opštine. Grad-opština bez obzira da li se gleda kao grad ili kao opština ima isti matični broj.

Ovo nije jedini slučaj gde jedna oblast ima uloge više administrativnih jedinica. Grad Beograd ujedno ima ulogu okruga. Mnoge mesne zajednice imaju iste granice kao i naselja, to jest naselje ima funkciju i mesne zajednice.

Pošto smo mi već primenili upis matičnih brojeva administrativnih jedinica kroz tagove ref:RS:naselje, ref:RS:opstina, ref:RS:grad, ref:RS:okrug, mi sa tim ne bi trebalo da imamo problema. Prosto možemo istoj relaciji koja označava administrativnu jedinicu da dodelimo dva taga sa matičnim brojevima.

Problem je admin_level tag. On može da bude samo jedan na relaciji pa ne može jedna relacija da označava više administrativnih nivoa.

Takođe su problem i name tagovi, ako se naziv administrativne jedinice razlikuje zavisno od nivoa.

Jedan način da se ovo rešava je da se prosto iskopira relacija i od nje napravi nova, identična osim u pomenutim tagovima.

Drugo rešenje je da se koristi jedna relacija, ali da se nekako reši označavanje kroz tagove.

Cilj treba da bude, da neko, kome trebaju administrativne jedinice iz OSM, on zaista može da dobije kompletne administrativne jedinice nivoa koji mu je potreban, a ne da izvodi nekakvu gimnastiku.

Duja · 2021-08-05T07:12:39.000Z

Pedja:

Cilj treba da bude, da neko, kome trebaju administrativne jedinice iz OSM, on zaista može da dobije kompletne administrativne jedinice nivoa koji mu je potreban, a ne da izvodi nekakvu gimnastiku.

Pa zato što opštine i gradovi de fakto i jesu jedan te isti administrativni nivo. Gradske opštine, tamo gde postoje, jesu specijalan slučaj i mogle su da idu na nivo niže, a ne da dižemo gradove na nivo više, ili nedajbože da još pravimo duple relacije.

[rant]A lepo sam vam onomad rekao da nije trebalo praviti onu gimnastiku sa umetanjem novog administrativnog nivoa.[/rant]

Pedja · 2021-08-05T07:22:28.000Z

Nisu gradske opštine specijalan slučaj. To su opštine, kao i druge.

Opštine svakako nisu na istom administrativnom nivou kao i gradovi.

Duja · 2021-08-05T07:54:37.000Z

Jesu specijalan slučaj jer su redukovanih nadležnosti u odnosu na obične opštine, i generalno se manje koriste kao referentni objekti za lociranje. Teško da će neko reći “Pinosava, opština Voždovac, grad Beograd” nego “Pinosava, grad Beograd”. No, taj voz je prošao, nećemo se na to vraćati.

Onda onaj ko bude pravio upit neka pravi tu gimnastiku. Snažno se protivim da se prave duplirane admin_level=8 relacije za gradove koji nemaju zasebne gradske opštine.

Pedja · 2021-08-05T08:48:18.000Z

Duja:

Onda onaj ko bude pravio upit neka pravi tu gimnastiku.

Baza nad kojom neko treba da gimnastiči, nije dobra baza.
A i voleo bih da vidim tu gimnastiku kojom će neko da izvuče gradove-opštine a da ne navede pojedinačno svaki taj grad u upit.

Snažno se protivim da se prave duplirane admin_level=8 relacije za gradove koji nemaju zasebne gradske opštine.

Adresni registar ne poznaje gradove. On poznaje samo opštine. Kako onda da povežemo podatke sa gradovima koji imaju i funkciju opštine ako gradove ne obeležimo na odgovarajući način?

Ja sam istakao problem, nadam se da možemo da smislimo neko rešenje problema a ne da ga zanemarimo. Pogotovo ne zbog nekih principa.

Duja · 2021-08-05T12:32:16.000Z

Pedja:

Baza nad kojom neko treba da gimnastiči, nije dobra baza.
A i voleo bih da vidim tu gimnastiku kojom će neko da izvuče gradove-opštine a da ne navede pojedinačno svaki taj grad u upit.

…što je još jedan dokaz u prilog tezi da je “grad” = “opština” dok je “gradska opština” < “grad”…

Pedja:

a kada se gleda Adresni registar, on vidi opštine a ne gradove, pa tada na gradove-opštine gleda kao na opštine

…a očito ih takvim smatra i Adresni registar. Da je tako napravljeno, ne bi bila potrebna gimnastika, a baza bi bila dobra.

Pedja · 2021-08-06T08:52:58.000Z

Mislim da ću se uzdržati od dalje diskusije ako ne izneseš neki ozbiljan argument. Razumem da se tebi ne sviđa ideja ali me to ič ne dotiče.

Istaknut je problem i trebalo bi da razgovaramo kako da rešimo taj problem a ne da se bavimo jalovim nadgornjavanjem.

Ako ti se ne sviđaju pomenuti mogući načini da se problem prevaziđe, predloži nešto drugo. Budi konstruktivan. Cilj je rešenje problema.

Duja · 2021-08-06T09:54:02.000Z

Sasvim mi je u redu da se za npr. Grad Novi Sad doda i ref:RS:opstina i ref:RS:grad.

Pedja · 2021-08-06T10:26:43.000Z

To je jedna od ideja. Grad u nazivu ne smeta jer to jeste zvaničan naziv čak i kada je u pitanju grad-opština.

Ostaje problem admin_level, ali ako bismo usvojili da se upisuju i ref:RS:opstina i ref:RS:grad tada bi bilo logicno da se za najviši admin_level upisuje najvisi, u ovom slucaju za grad.

Isti prinicip je nezgodan za naselja koja su i mesne zajednice, što je čak i mnogo češći slučaj. Tu je problem što smo za mesne zajednice usvojili da upisujemo prefiks “Mesna zajednica” a u nazivima naselja nema prefiksa. Možda da se iz naziva mesnih zajednica ukloni prefiks?

Ima i slučajeva gde su naselje i opština ista geografska oblast pai tu imamo problem sa prefiksom Opština u nazivu.

Duja · 2021-08-06T12:00:09.000Z

Nije problem da po istom principu na relacije koje su i naselje i mesna zajednica dodamo ref:RS:mz (ekvivalentno i za opštine, mada vidim da tu za Sremske Karlovce već imamo opštinu i mesto) a takvih je svega par komada.

Neko ko želi da izvuče sve mesne zajednice bi onda samo mogao tražiti relacije koje su admin_level u {8, 9, 10} i imaju specificiran ref:RS:mz.

Branko_Kokanovic · 2021-08-14T09:32:23.000Z

Pokrenuo sam ponovo skriptu za conflate-ovanje granica. Evo nekih stvari koje sam primetio i izračunao:

RGZ je u međuvremenu popravio neke stvari koje su bile problematicne (oko naselja Ram npr.),
Opaky je radio dosta na granicama u međuvremenu, i to se primećuje baš dosta (hvala Opaky!)
Skripta sređena da koristi ref:RS oznake
Nemamo nijedno naselje koje se razlikuje više od 4% (a u martu 2020. je bilo do 10%). Na terenu 4% znači do oko 100m najviše.
U martu 2020. je prosek razlikovanja bio 0,37%, a sada je 0,054%
90-i percentil je u martu 2020. bio 1,23%, a sada je 0,09%
99-i percentil je bio 5,37%, a sada je 1,93%
Imamo samo još 115 naselja (od 4721) koja imaju razlike u odnosu na RGZ veće od 1%

Kontam da sledeći put kada budem radio ove analize, već ima da budemo blizu 100% poklapanja sa RGZ-om:)

Evo fajlova koji mogu biti korisni koji su izlaz ove analize!

Statistike naselja (CSV deljenih/nedeljnih površina naselja)
Statistike opština (CSV deljenih/nedeljnih površina naselja)
.shp i .osm (124MB) (Svi generisani shapefile-ovi i .osm fajlovi, za celu Srbiju i po okruzima!)
Izveštaj conflate-a (šta je urađeno, šta fali i razlog zašto fali. Neupotrebljiva je ova skripta, morao bih da pravim novu sada kada smo ovako dobri)