Jeśli obrys w znacznym stopniu pokrywa się z kontrastem na orto Geoportalu (w uproszczeniu: jasno na zewnątrz obrysu, ciemno wewnątrz obrysu), to budynek zostaje zaimportowany automatycznie. W innym przypadku pozostaje on do automatycznego importu. Oczywiści usunięte już raz budynki nie będą dodawane z powrotem.
Co uważacie o czymś takim? Ja nie widzę żadnego zagrożenia w takiej metodyce importu a mapujący mogliby zajmować się jedynie cięższymi przypadkami.
Plan jest taki aby sprawdzić istnienie budynku pół roku oraz rok wstecz wykorzystując historyczne dane przy użyciu overpass-a. Więc jeśli był budynek już wcześniej to zostanie on pominięty.
Biorąc pod uwagę istnienie już https://budynki.openstreetmap.org.pl nie widzę szczególnie potrzeby.
Brzmi jak duże ryzyko, a mały zysk. Już i tak jest sporo problemów z importem budynków z oficjalnych baz - dane nie są idealne, a mappery nie zawsze dostatecznie dobrze je sprawdzają.
Jestem przeciwko takiego importowi za pomocą bota. Myślę, że można rozważyć przygotowanie danych do weryfikacji przez mappera w JOSM.
Czy mógłbyś jakoś rozwinąć argument ryzyka? Uważam osobiście że pokrycie na danych budynki oraz Geoportal zeruje jakiekolwiek ryzyko. Przy bezbłędnej implementacji tego pomysłu, bot nie popełni żadnego błędu jakiego człowiek sam by nie zrobił. Chodzi tutaj że obrys z danych budynki pokrywa się ze zdjęciami Geoportalu. Jeśli ewidencja ma jakieś dane, i są one widoczne na zdjęciach, to nie potrafię sobie wyobrazić przypadku gdzie mogłoby to być błędem. Jedyne co to niedawno wyburzone budynki, ale takie nie będą dodawane na nowo. Bot będzie miał taki sam zasób wiedzy jak każdy nielokalny mapujący
Nie było dla mnie jasne skąd chcesz brać obrys budynku, Myślałem, że chodzi o generowanie na postawie samego orto (Machine Learning) i potem jedynie weryfikację wyniku (klasyczne Computer Vision).
Proszę opisz jakie jest źródło danych konkretnie i jakie są kryteria/algorytm.
Chodzi o wyciąganie obrysu 1:1 ze strony budynki osm. Potem przy użyciu jakiegoś algorytmu (nie wiem jaki jeszcze, jakiś co będzie dobrze działał, nie będzie to znaczny problem) będzie obrys porównywany ze zdjęciem z Geoportalu. Jeśli kształt zgadza się ± małe odchylenie, lub jest on tylko lekko przesunięty, to taki obrys zostaje uznany za poprawny i dodany do map w takiej postaci w jakiej został pobrany ze strony budynki osm.
Algorytm zostanie napisany w taki sposób aby działał pewnie. Początkowo bot będzie testowany a dopiero potem zostanie uruchomiony bez szczególnego nadzoru. Nie rozpisuje się dokładnie na temat implementacji ponieważ nie jestem w stanie nic pewnego powiedzieć, wszystko wyjdzie w praniu podczas pisania apki :-).
wcale nie, w Krakowie jest trochę budynków z oficjalnej bazy, na Geoportalu a nie ma ich w rzeczywistości
lub jest tam tylko opuszczony fundament
mam wątpliwości czy automatyczna analiza obrazu jest już tak dobra
i tam gdzie automatyczna klasyfikacja będzie błędna
Nie mówię że nie, ale chciałbym zobaczyć kilkaset losowo wybranych przykładów klasyfikacji przed zaczęciem edytowania.
(a, i minimum to danie do ręcznego przejrzenia tego co zawierałoby w swoim obszarze jakiekolwiek obiekty - zwłaszcza drzewa, budynki, drogi, cieki wodne, pola i lasy)
Ja bym to widział bardziej w formie dodatkowego filtra/warstwy do strony budynków – to by było coś co może by się przydało, bo pewnie w jakimś stopniu pomogłoby ograniczać błędne importy (albo przynajmniej by zmniejszyło importy budynków nieistniejących wg orto) ew. mogłoby pomagać w priorytetyzacji miejsc do importu.
Co do automatu, to również raczej jestem przeciwko z wyżej wymienionych powodów.
Dodatkowo jako, że sam działam od jakiegoś czasu z pluginem do manualnego importu budynków (który ostatnio przygasł – choć development po cichu trwa), widzę ile jest z tym potencjalnych problemów.
Nie kończy się to tylko na tym, czy jest budynek na orto, czy go nie ma, a tu praktycznie odrzucasz najmocniejszy i najważniejszy walidator/software poprawiający – mapującego.
Technicznie:
Nie jestem przekonany do samej opisanej metody. Uważam, że sporo jednak zostanie wykluczone jeśli będzie to bazować na kontraście i finalnie wyjdzie, że jest to niestety zbędny wysiłek, a wciąż będą dodawane dane błędne (jeśli będziesz chciał używać automatu).
Jeśli chciałbyś to jednak łączyć z stroną budynków, to były bo do ustalenia głównie pewnie z Tomkiem, ale wstępnie zaznaczę, że jednak jest to sporo danych i to, że coś Ci zadziała/nie zadziała na małej próbce danych np. dla wsi to jedno. Rozszerzenie tego na skalę kraju tworzy zupełnie nowe problemy.
Wstępnie mogę rzucić, że stronka budynków z bazą to jakieś ~60-80 GB danych w kontenerze skompresowanym (zstd:8).
Zupełnie inne pytanie: Jak chciałbyś w ogóle podejść do tematu pobierania kafelków orto?
Dynamiczne pobieranie brzmi tragicznie dla kilkuset tysięcy budynków, albo i kilku milionów, jeśli chcesz walidować wszystko.
Z kolei sama ortofotomapa pewnie też bardzo dużo waży i tam już są inne rzędy wielkości w pojemności.
Overpass mnie też nie przekonuje do sprawdzania historycznych danych i nie chodzi tu wcale o to, czy masz swój serwer, czy nie, ale znowu idąc w skalę, to po prostu będzie trwało zbyt długo
Dynamicznie, zauważ że rozsądna prędkość to przejrzenie całego kraju przynajmniej raz na miesiąc, nie sądzę aby było to problem. A z czasem, bo dodaniu lub zignorowaniu budynków ze strony https://budynki.openstreetmap.org.pl będzie tych danych coraz mniej i mniej, aż w pewnym momencie będzie to max. kilkanaście budynków dziennie. Można potem ponawiać całą procedurę po wysłaniu nowego orto, czyli około raz na rok. Kiedy algorytm raz już zadecyduje czy dany budynek nadaje się do bezpiecznego auto-importu to nie będzie się nim 2-gi raz interesował przez ten roczny okres czasu.
Nie będzie to problem wydajnościowy . Podobna argumentacja co powyżej, a overpass bez żadnej dodatkowej logiki (tylko samo pobieranie) działa dosyć sprawnie.
Zamiast overpass mogę też użyć ekstraktów z planet: Geofabrik Download Server
około 2 GB tylko trochę mniej wygodne do pracy, ale zawsze jest jakaś możliwość
Ten przykład dałem jako… przykład aby normalna osoba mogła prosto zrozumieć i sobie jakoś to zwizualizować. Oczywiście finalny algorytm będzie bardziej zaawansowany.
Jak z jakością zdjęć z orto? Czasami to przyjemność, czasami trzeba się naprawdę wgapiać by do czegoś dojsc. Dużo zależy od pory roku i dnia kiedy były robione zdjęcia.