Automatyczny import budynków z BDOT10k + ORTO Geoportalu

Jeśli obrys w znacznym stopniu pokrywa się z kontrastem na orto Geoportalu (w uproszczeniu: jasno na zewnątrz obrysu, ciemno wewnątrz obrysu), to budynek zostaje zaimportowany automatycznie. W innym przypadku pozostaje on do automatycznego importu. Oczywiści usunięte już raz budynki nie będą dodawane z powrotem.

Co uważacie o czymś takim? Ja nie widzę żadnego zagrożenia w takiej metodyce importu a mapujący mogliby zajmować się jedynie cięższymi przypadkami.

To zaimportuje niedawno wyburzone budynki.

I to ma być import adresów czy budynków?

3 Likes

Budynki :smiley: alem się zapędził, już poprawione.

Pierwszy problem to że zaimportuje niedawno wyburzone budynki.

Ciekaw jestem na ile ta klasyfikacja by działała…

Plan jest taki aby sprawdzić istnienie budynku pół roku oraz rok wstecz wykorzystując historyczne dane przy użyciu overpass-a. Więc jeśli był budynek już wcześniej to zostanie on pominięty.

Biorąc pod uwagę istnienie już https://budynki.openstreetmap.org.pl nie widzę szczególnie potrzeby.
Brzmi jak duże ryzyko, a mały zysk. Już i tak jest sporo problemów z importem budynków z oficjalnych baz - dane nie są idealne, a mappery nie zawsze dostatecznie dobrze je sprawdzają.
Jestem przeciwko takiego importowi za pomocą bota. Myślę, że można rozważyć przygotowanie danych do weryfikacji przez mappera w JOSM.

3 Likes

Czy mógłbyś jakoś rozwinąć argument ryzyka? Uważam osobiście że pokrycie na danych budynki oraz Geoportal zeruje jakiekolwiek ryzyko. Przy bezbłędnej implementacji tego pomysłu, bot nie popełni żadnego błędu jakiego człowiek sam by nie zrobił. Chodzi tutaj że obrys z danych budynki pokrywa się ze zdjęciami Geoportalu. Jeśli ewidencja ma jakieś dane, i są one widoczne na zdjęciach, to nie potrafię sobie wyobrazić przypadku gdzie mogłoby to być błędem. Jedyne co to niedawno wyburzone budynki, ale takie nie będą dodawane na nowo. Bot będzie miał taki sam zasób wiedzy jak każdy nielokalny mapujący :slight_smile:

1 Like

Nie było dla mnie jasne skąd chcesz brać obrys budynku, Myślałem, że chodzi o generowanie na postawie samego orto (Machine Learning) i potem jedynie weryfikację wyniku (klasyczne Computer Vision).
Proszę opisz jakie jest źródło danych konkretnie i jakie są kryteria/algorytm.

2 Likes

Chodzi o wyciąganie obrysu 1:1 ze strony budynki osm. Potem przy użyciu jakiegoś algorytmu (nie wiem jaki jeszcze, jakiś co będzie dobrze działał, nie będzie to znaczny problem) będzie obrys porównywany ze zdjęciem z Geoportalu. Jeśli kształt zgadza się ± małe odchylenie, lub jest on tylko lekko przesunięty, to taki obrys zostaje uznany za poprawny i dodany do map w takiej postaci w jakiej został pobrany ze strony budynki osm.

Algorytm zostanie napisany w taki sposób aby działał pewnie. Początkowo bot będzie testowany a dopiero potem zostanie uruchomiony bez szczególnego nadzoru. Nie rozpisuje się dokładnie na temat implementacji ponieważ nie jestem w stanie nic pewnego powiedzieć, wszystko wyjdzie w praniu podczas pisania apki :-).

2 Likes

wcale nie, w Krakowie jest trochę budynków z oficjalnej bazy, na Geoportalu a nie ma ich w rzeczywistości

lub jest tam tylko opuszczony fundament

mam wątpliwości czy automatyczna analiza obrazu jest już tak dobra

i tam gdzie automatyczna klasyfikacja będzie błędna

Nie mówię że nie, ale chciałbym zobaczyć kilkaset losowo wybranych przykładów klasyfikacji przed zaczęciem edytowania.

(a, i minimum to danie do ręcznego przejrzenia tego co zawierałoby w swoim obszarze jakiekolwiek obiekty - zwłaszcza drzewa, budynki, drogi, cieki wodne, pola i lasy)

1 Like

Tak, ale sama część którą zacytowałeś bez wcześniejszego kontekstu zmienia trochę znaczenie. Chodzi o połączenie wizualne z urzędowym.

W najgorszym wypadku po prostu projekt nie wypali :slight_smile: Ja uważam, że podołam implementacji jakiegoś dobrego wizualnego algorytmu.

Jasne, mogę ogłosić tutaj na forum jakieś ewentualne pierwsze wyniki do akceptacji przez community.

W tym przypadku dane nie zostaną zimportowane, i będzie można je przejrzeć “po staremu” pobierając dane z budynki i dodając do JOSM.

1 Like

@NorthCrab
Koncepcyjnie:

Ja bym to widział bardziej w formie dodatkowego filtra/warstwy do strony budynków – to by było coś co może by się przydało, bo pewnie w jakimś stopniu pomogłoby ograniczać błędne importy (albo przynajmniej by zmniejszyło importy budynków nieistniejących wg orto) ew. mogłoby pomagać w priorytetyzacji miejsc do importu.

Co do automatu, to również raczej jestem przeciwko z wyżej wymienionych powodów.
Dodatkowo jako, że sam działam od jakiegoś czasu z pluginem do manualnego importu budynków (który ostatnio przygasł – choć development po cichu trwa), widzę ile jest z tym potencjalnych problemów.
Nie kończy się to tylko na tym, czy jest budynek na orto, czy go nie ma, a tu praktycznie odrzucasz najmocniejszy i najważniejszy walidator/software poprawiający – mapującego.

Technicznie:
Nie jestem przekonany do samej opisanej metody. Uważam, że sporo jednak zostanie wykluczone jeśli będzie to bazować na kontraście i finalnie wyjdzie, że jest to niestety zbędny wysiłek, a wciąż będą dodawane dane błędne (jeśli będziesz chciał używać automatu).

Jeśli chciałbyś to jednak łączyć z stroną budynków, to były bo do ustalenia głównie pewnie z Tomkiem, ale wstępnie zaznaczę, że jednak jest to sporo danych i to, że coś Ci zadziała/nie zadziała na małej próbce danych np. dla wsi to jedno. Rozszerzenie tego na skalę kraju tworzy zupełnie nowe problemy.

Wstępnie mogę rzucić, że stronka budynków z bazą to jakieś ~60-80 GB danych w kontenerze skompresowanym (zstd:8).

Zupełnie inne pytanie: Jak chciałbyś w ogóle podejść do tematu pobierania kafelków orto?
Dynamiczne pobieranie brzmi tragicznie dla kilkuset tysięcy budynków, albo i kilku milionów, jeśli chcesz walidować wszystko.
Z kolei sama ortofotomapa pewnie też bardzo dużo waży i tam już są inne rzędy wielkości w pojemności.
Overpass mnie też nie przekonuje do sprawdzania historycznych danych i nie chodzi tu wcale o to, czy masz swój serwer, czy nie, ale znowu idąc w skalę, to po prostu będzie trwało zbyt długo :stuck_out_tongue:

1 Like

Dynamicznie, zauważ że rozsądna prędkość to przejrzenie całego kraju przynajmniej raz na miesiąc, nie sądzę aby było to problem. A z czasem, bo dodaniu lub zignorowaniu budynków ze strony https://budynki.openstreetmap.org.pl będzie tych danych coraz mniej i mniej, aż w pewnym momencie będzie to max. kilkanaście budynków dziennie. Można potem ponawiać całą procedurę po wysłaniu nowego orto, czyli około raz na rok. Kiedy algorytm raz już zadecyduje czy dany budynek nadaje się do bezpiecznego auto-importu to nie będzie się nim 2-gi raz interesował przez ten roczny okres czasu.

Nie będzie to problem wydajnościowy :+1:. Podobna argumentacja co powyżej, a overpass bez żadnej dodatkowej logiki (tylko samo pobieranie) działa dosyć sprawnie.

https://budynki.openstreetmap.org.pl/dane/bdot10k_bubd_a.zip

A ten plik to jedynie 1.6 GB na cały kraj :slight_smile:

Source: Opis danych

Zamiast overpass mogę też użyć ekstraktów z planet: Geofabrik Download Server
około 2 GB tylko trochę mniej wygodne do pracy, ale zawsze jest jakaś możliwość

Ten przykład dałem jako… przykład :smiley: aby normalna osoba mogła prosto zrozumieć i sobie jakoś to zwizualizować. Oczywiście finalny algorytm będzie bardziej zaawansowany.

Jak z jakością zdjęć z orto? Czasami to przyjemność, czasami trzeba się naprawdę wgapiać by do czegoś dojsc. Dużo zależy od pory roku i dnia kiedy były robione zdjęcia.

Jeżeli niczego się algorytm nie dopatrzy to po prostu zignoruje, i nie doda na ślepo :slight_smile: