RGZ otvorio registar prostornih jedinica - plan za import

Branko_Kokanovic · 2021-07-26T14:52:43.000Z

Javljam se ja da uradim ovo. Mislim da bih mogao do kraja avgusta (ako neko zeli ranije - slobodno)

Duja · 2021-07-26T14:55:15.000Z

Taman sam krenuo da kucam da bi to morao Branko ili Vanja, kad me preteče. Vidiš kako radi na telepatiju.

Pedja · 2021-07-26T15:49:49.000Z

To može za sekund:

U JOSM uradis pomocu overpass upita selekt svih relacija koje imaju odgovarajući admin_level i ref:sr:maticni_broj i povuces podatke
uradis select all u JOSM (Ctrl+A)
u editoru tagova nađeš ref:sr:maticni_broj i kliknes na edit. Prikazaće ti da ima multiple values
kliknes na ref:sr:maticni_broj i preimenuješ ga u odgovarajući ref:RS:* i na OK da potvrdis. Svim objektima će biti preimenovan taj tag
uploadujes izmene na OSM

E sad, ko ima petlju da to uradi

Pedja · 2021-07-26T18:37:56.000Z

https://openstreetmap.rs/kartografisanje-administrativnih-granica-na-mapi-srbije/

Pedja · 2021-07-30T17:55:10.000Z

mpele i ja smo veceras svim naseljima izmenili ref:sr:maticni_broj u ref:RS:naselje.

Treba da se saceka da overpass azirira svoje podatke pa ce onda moci ref:RS:naselje da se koristi u upitima.

Branko_Kokanovic · 2021-08-02T21:04:30.000Z

https://www.openstreetmap.org/changeset/109051890 - promenio ref:sr:maticni_broj u ref:RS:opstina za admin_level=8. Malo me brine što sam promenio za 143 relacije, a na opendata.geosrbija.rs sajtu kaže da ima 198 (ili 169 bez kosova)…moraću na kraju da provučem to kroz onaj moj program što proverava…

Pedja · 2021-08-04T11:07:24.000Z

Branko je juče otkrio na kada se na OSM izdvoje i prikažu granice samo opština, postoje rupe - nije cela površina Srbije pokrivena opštinama. Utvrdio je da su razlog gradovi. Naime, imamo dosta gradova koji uopšte nemaju više opština već grad uejdno ima ulogu i opštine (zvanično ih tretiraju kao gradovi-opštine).

Usput smo otkrili da u zvaničnoj nomenklaturi pored naselja postoje i gradska naselja (analogno gradskim opštinama i gradovima opštinama), mada to z aOSM nije naročito važno.

Na primer kada se gledaju administrativne jedinice, postoje gradovi koje nemaju opštine, a kada se gleda Adresni registar, on vidi opštine a ne gradove, pa tada na gradove-opštine gleda kao na opštine. Grad-opština bez obzira da li se gleda kao grad ili kao opština ima isti matični broj.

Ovo nije jedini slučaj gde jedna oblast ima uloge više administrativnih jedinica. Grad Beograd ujedno ima ulogu okruga. Mnoge mesne zajednice imaju iste granice kao i naselja, to jest naselje ima funkciju i mesne zajednice.

Pošto smo mi već primenili upis matičnih brojeva administrativnih jedinica kroz tagove ref:RS:naselje, ref:RS:opstina, ref:RS:grad, ref:RS:okrug, mi sa tim ne bi trebalo da imamo problema. Prosto možemo istoj relaciji koja označava administrativnu jedinicu da dodelimo dva taga sa matičnim brojevima.

Problem je admin_level tag. On može da bude samo jedan na relaciji pa ne može jedna relacija da označava više administrativnih nivoa.

Takođe su problem i name tagovi, ako se naziv administrativne jedinice razlikuje zavisno od nivoa.

Jedan način da se ovo rešava je da se prosto iskopira relacija i od nje napravi nova, identična osim u pomenutim tagovima.

Drugo rešenje je da se koristi jedna relacija, ali da se nekako reši označavanje kroz tagove.

Cilj treba da bude, da neko, kome trebaju administrativne jedinice iz OSM, on zaista može da dobije kompletne administrativne jedinice nivoa koji mu je potreban, a ne da izvodi nekakvu gimnastiku.

Duja · 2021-08-05T07:12:39.000Z

Pedja:

Cilj treba da bude, da neko, kome trebaju administrativne jedinice iz OSM, on zaista može da dobije kompletne administrativne jedinice nivoa koji mu je potreban, a ne da izvodi nekakvu gimnastiku.

Pa zato što opštine i gradovi de fakto i jesu jedan te isti administrativni nivo. Gradske opštine, tamo gde postoje, jesu specijalan slučaj i mogle su da idu na nivo niže, a ne da dižemo gradove na nivo više, ili nedajbože da još pravimo duple relacije.

[rant]A lepo sam vam onomad rekao da nije trebalo praviti onu gimnastiku sa umetanjem novog administrativnog nivoa.[/rant]

Pedja · 2021-08-05T07:22:28.000Z

Nisu gradske opštine specijalan slučaj. To su opštine, kao i druge.

Opštine svakako nisu na istom administrativnom nivou kao i gradovi.

Duja · 2021-08-05T07:54:37.000Z

Jesu specijalan slučaj jer su redukovanih nadležnosti u odnosu na obične opštine, i generalno se manje koriste kao referentni objekti za lociranje. Teško da će neko reći “Pinosava, opština Voždovac, grad Beograd” nego “Pinosava, grad Beograd”. No, taj voz je prošao, nećemo se na to vraćati.

Onda onaj ko bude pravio upit neka pravi tu gimnastiku. Snažno se protivim da se prave duplirane admin_level=8 relacije za gradove koji nemaju zasebne gradske opštine.

Pedja · 2021-08-05T08:48:18.000Z

Duja:

Onda onaj ko bude pravio upit neka pravi tu gimnastiku.

Baza nad kojom neko treba da gimnastiči, nije dobra baza.
A i voleo bih da vidim tu gimnastiku kojom će neko da izvuče gradove-opštine a da ne navede pojedinačno svaki taj grad u upit.

Snažno se protivim da se prave duplirane admin_level=8 relacije za gradove koji nemaju zasebne gradske opštine.

Adresni registar ne poznaje gradove. On poznaje samo opštine. Kako onda da povežemo podatke sa gradovima koji imaju i funkciju opštine ako gradove ne obeležimo na odgovarajući način?

Ja sam istakao problem, nadam se da možemo da smislimo neko rešenje problema a ne da ga zanemarimo. Pogotovo ne zbog nekih principa.

Duja · 2021-08-05T12:32:16.000Z

Pedja:

Baza nad kojom neko treba da gimnastiči, nije dobra baza.
A i voleo bih da vidim tu gimnastiku kojom će neko da izvuče gradove-opštine a da ne navede pojedinačno svaki taj grad u upit.

…što je još jedan dokaz u prilog tezi da je “grad” = “opština” dok je “gradska opština” < “grad”…

Pedja:

a kada se gleda Adresni registar, on vidi opštine a ne gradove, pa tada na gradove-opštine gleda kao na opštine

…a očito ih takvim smatra i Adresni registar. Da je tako napravljeno, ne bi bila potrebna gimnastika, a baza bi bila dobra.

Pedja · 2021-08-06T08:52:58.000Z

Mislim da ću se uzdržati od dalje diskusije ako ne izneseš neki ozbiljan argument. Razumem da se tebi ne sviđa ideja ali me to ič ne dotiče.

Istaknut je problem i trebalo bi da razgovaramo kako da rešimo taj problem a ne da se bavimo jalovim nadgornjavanjem.

Ako ti se ne sviđaju pomenuti mogući načini da se problem prevaziđe, predloži nešto drugo. Budi konstruktivan. Cilj je rešenje problema.

Duja · 2021-08-06T09:54:02.000Z

Sasvim mi je u redu da se za npr. Grad Novi Sad doda i ref:RS:opstina i ref:RS:grad.

Pedja · 2021-08-06T10:26:43.000Z

To je jedna od ideja. Grad u nazivu ne smeta jer to jeste zvaničan naziv čak i kada je u pitanju grad-opština.

Ostaje problem admin_level, ali ako bismo usvojili da se upisuju i ref:RS:opstina i ref:RS:grad tada bi bilo logicno da se za najviši admin_level upisuje najvisi, u ovom slucaju za grad.

Isti prinicip je nezgodan za naselja koja su i mesne zajednice, što je čak i mnogo češći slučaj. Tu je problem što smo za mesne zajednice usvojili da upisujemo prefiks “Mesna zajednica” a u nazivima naselja nema prefiksa. Možda da se iz naziva mesnih zajednica ukloni prefiks?

Ima i slučajeva gde su naselje i opština ista geografska oblast pai tu imamo problem sa prefiksom Opština u nazivu.

Duja · 2021-08-06T12:00:09.000Z

Nije problem da po istom principu na relacije koje su i naselje i mesna zajednica dodamo ref:RS:mz (ekvivalentno i za opštine, mada vidim da tu za Sremske Karlovce već imamo opštinu i mesto) a takvih je svega par komada.

Neko ko želi da izvuče sve mesne zajednice bi onda samo mogao tražiti relacije koje su admin_level u {8, 9, 10} i imaju specificiran ref:RS:mz.

Branko_Kokanovic · 2021-08-14T09:32:23.000Z

Pokrenuo sam ponovo skriptu za conflate-ovanje granica. Evo nekih stvari koje sam primetio i izračunao:

RGZ je u međuvremenu popravio neke stvari koje su bile problematicne (oko naselja Ram npr.),
Opaky je radio dosta na granicama u međuvremenu, i to se primećuje baš dosta (hvala Opaky!)
Skripta sređena da koristi ref:RS oznake
Nemamo nijedno naselje koje se razlikuje više od 4% (a u martu 2020. je bilo do 10%). Na terenu 4% znači do oko 100m najviše.
U martu 2020. je prosek razlikovanja bio 0,37%, a sada je 0,054%
90-i percentil je u martu 2020. bio 1,23%, a sada je 0,09%
99-i percentil je bio 5,37%, a sada je 1,93%
Imamo samo još 115 naselja (od 4721) koja imaju razlike u odnosu na RGZ veće od 1%

Kontam da sledeći put kada budem radio ove analize, već ima da budemo blizu 100% poklapanja sa RGZ-om:)

Evo fajlova koji mogu biti korisni koji su izlaz ove analize!

Statistike naselja (CSV deljenih/nedeljnih površina naselja)
Statistike opština (CSV deljenih/nedeljnih površina naselja)
.shp i .osm (124MB) (Svi generisani shapefile-ovi i .osm fajlovi, za celu Srbiju i po okruzima!)
Izveštaj conflate-a (šta je urađeno, šta fali i razlog zašto fali. Neupotrebljiva je ova skripta, morao bih da pravim novu sada kada smo ovako dobri)

Srdjan023 · 2022-01-14T10:02:00.000Z

Ne znam da li je ovo pravo mesto da postavim pitanje, ali kako sam ja razumeo nismo se dogovorili oko ref:RS:* taga za mesne zajednice niti oko toga kako trebaju da se imenuju vidim neke mesne zajednice sa name:prefix=Месна заједница pa name=[Ime mesne zajednice] a ima i onih sa name=MZ [Ime mesne zajednice].

Branko_Kokanovic · 2022-01-16T20:41:37.000Z

Da, u pravu si, nismo se dogovorili. Razmisli da otvoriš novu temu za ovu ako želiš, a što se mene tiče, ja sam za to da nemaju “Месна заједница” u imenu jer je rogobatno, ali shvatam da je to u suprotnosti sa onim kako smo unosili opštine i gradove (ali konzistentno sa naseljima i sa RGZ podacima). Što se tiče taga… šta znam… “ref:RS:mesna_zajednica”? Jedino što će ovo biti prvi put da imamo belinu u tagu (naselje, opstina, grad, okrug nemaju ), ali meni je to OK.

Dva problema koja vidim ako neko želi da napadne ovaj problem:

Mislim da je ovo ogroman posao uneti ručno, naročito što se dosta granica već dele sa postojećim naseljima i treba iskorišćavati postojeće wayove gde postoje. Nažalost, moja skripta je radila sa naseljima kao najnižom jedinicom za unos, pa je ovo ostalo da visi. Bilo bi interesantno napraviti program da se izvuku sve linije koje dele postojeća naselja na manje MZ, pa importovati samo te wayove i onda krenuti praviti relacija MZ-ova redom.
Dosta MZ deli istu granicu sa naseljem (tj. isti su geometrijski), možda čak i 50%! Vidim da su Peđa i Duja komentarisali, ali ne vidim da imamo neki dogovor tu. Kod MZ će ovo biti još izraženiji problem. Dok to ne rešimo, nema poente unositi MZ-ove. Nemam neko rešenje, ja sam 100% protiv dupliranja way-eva i većinski sam protiv dupliranja relacija, ali nemam neko rešenje šta da radimo kada ime MZ/opštine nije isto kao ime naselja/grada. Doduše, takvih slučajeva nema za gradove, ali video sam na par mesta za MZ (da ima dodato “-СЕЛО” u naziv). Ja sam pre za to da u istu relaciju nabijemo i “ref:RS:mesna_zajednica” i “ref:RS:naselje” (ili “ref:RS:grad” i “ref:RS:opstina”) i da zadržimo admin_level većeg nivoa i to mi je OK i jednoznačno (jeste malo gimnastika sa bazom, ali valjda se lako rešava da su ti opštine "if admin_level = 8 OR (admin_level=7 AND EXIST “ref:RS:opstina”)), ali ne znam šta raditi sa name-om ako nisu isti, da stavljamo “name:RS:opstina” i “name:RS:mesna_zajednica” u slučajevima kada se baš ne slažu:)
Srećno ko pokuša da importuje MZ:)

Branko_Kokanovic · 2022-02-04T22:08:35.000Z

Pokrenuo sam ažuriranje i popravljao malo granice, evo novih vesti:

Primećuju se nove izmene na RGZ-u, granice nekih naselja su menjane, tako da možemo da kažemo da je sa njihove strane ovo živa stvar
Imamo svega 4 naselja koja se razlikuju preko 1%, a i to su naselja koja su na državnoj granici, pa je promena malo pipava (a bilo ih je čak 115 u avgustu 2021.)
Prosek razlike je 0,0108% (u avgustu 2021. je bio 0,054%, u martu 2020. je bio 0,37%)
90-i percentil je 0,003% (u avgustu 2021. je bio 0,09%, a u martu 2020. je bio 1,23%)
99-i percentil je 0,242% (u avgustu 2021. je bio 1,93%, a u martu 2020. je bio 5,37%)
rekao bih da imamo još samo oko 530 naselja (od ukupno 4721) koja imaju bilo kakve razlike u odnosu na RGZ. Tj. 4200 naselja su “u čvor” ista:)

Sve u svemu, mislim da imamo skoro savršene granice uvezene iz RGZ-a i da je sledeći korak da se ovo malo još dovrši i da se eventualno napravi neka redovna nedeljna/mesečna provera da uočimo promene u kvalitetu što pre. Ali, to je to, možemo reći da je saga sa uvozom gotova:)

Evo fajlova koji mogu biti korisni, a koji su izlaz analize januara 2022.

Statistike naselja (CSV deljenih/nedeljnih površina naselja)
Statistike opština (CSV deljenih/nedeljnih površina naselja)
.shp i .osm (394MB) (Svi generisani shapefile-ovi i .osm fajlovi, za celu Srbiju, po okruzima, gradovima, opštinama, naseljima i mesnim zajednicama!)