OSM i Wiki Lubi Zabytki

WiktorN · 2014-08-12T07:10:25.000Z

Dotevo:

Czy TileLayer ma sens? Cały czas serwujesz takie same dane (chyba) więc nie wiedzę sensu przeładowania danych przy przybliżaniu i oddalaniu.

Cały GeoJSON ma powyżej 10MB, więc pomyślałem, że jak zaczynać przy dużych przybliżeniach, to nie będę ściągał wszystkich punktów, tylko te - które zmieszczą się na mapie. TileLayer ma też o tyle sens, że łatwo go zcache’ować w przeglądarce, albo po stronie serwera.

Tyle, że dla mapek - gdzie zaczynam od widoku na całą Polskę - to rzeczywiście nie ma sensu.

Polimerek · 2014-08-12T21:38:47.000Z

WiktorN:

Dotevo:

Czy TileLayer ma sens? Cały czas serwujesz takie same dane (chyba) więc nie wiedzę sensu przeładowania danych przy przybliżaniu i oddalaniu.

Cały GeoJSON ma powyżej 10MB, więc pomyślałem, że jak zaczynać przy dużych przybliżeniach, to nie będę ściągał wszystkich punktów, tylko te - które zmieszczą się na mapie. TileLayer ma też o tyle sens, że łatwo go zcache’ować w przeglądarce, albo po stronie serwera.

Tyle, że dla mapek - gdzie zaczynam od widoku na całą Polskę - to rzeczywiście nie ma sensu.

Trochę to wyważanie otwartych drzwi, bo oficjalna mapka zrobiona przez Yarla w zeszłym roku, nadal sobie działa:

http://wikizabytki.pl/mapa/#12/51.7616/19.5320

z tymże ona bierze dane nie z wiki, tylko z osobnej bazy danych, dzięki czemu działa trochę szybciej…

Pewnie fajnie będzie połączyć te mapy w jedną. Na ten rok będziemy potrzebować listę zabytków, które jeszcze nie mają zdjęcia (albo mają kiepskie) - bo za fotografowanie takich ma być specjalna nagroda. Jakby była mapa pokazująca obiekty z tej listy, to by było super.

WiktorN · 2014-08-13T07:39:42.000Z

Polimerek:

Trochę to wyważanie otwartych drzwi, bo oficjalna mapka zrobiona przez Yarla w zeszłym roku, nadal sobie działa:

http://wikizabytki.pl/mapa/#12/51.7616/19.5320

Trochę tak, a trochę nie - bo na mojej mapie jest więcej informacji. U mnie jest dodatkowo 38344 dodatkowe oznaczenia zabytków, z ich przypuszczalną lokalizacją (odgadniętą na podstawie odpytań Nominatima). Są takie przypadkii, że zabytki nie mają podanej lokalizacji, ale są dla nich zdjęcia (szkoda, że autor zdjęcia nie podzielił się informacją o lokalizacji), ale te zdjęcia niestety nie są geo-otagowane, więc nie mam na podstawie czego ustalić lokalizacji.

Polimerek:

z tymże ona bierze dane nie z wiki, tylko z osobnej bazy danych, dzięki czemu działa trochę szybciej…

Przyczny, dla których moje rozwiązanie działa wolniej są dwie:

Mam sporo więcej obiektów do pokazania. Porównaj: WikiZabytki oraz Zaybtki OSM+Wiki+Commons. U Yarla jest jakieś 100 punktów, u mnie ~1000 (tylko na warstwie z zabytkami o ustalonej pozycji, a są jeszcze 3 inne warstawy).
Póki co, dość lista obiektów jest dość duża, dla obszaru z punktu 1, u mnie jest to 1MB, a u Yarla - 60kb, więc Yarla rozwiązanie przesyła z 40% mniej danych. Pomyślę jeszcze nad optymalizacją przekazywanych danych

Poza optymalizacją - mogę też zrobić tak, że będę ściągał do przeglądarki wszystkie obiekty (jakieś 10MB), będzie to trochę trwało (i zarzynało przeglądarkę), ale przynajmniej nie będzie dociągania wielokrotnie tych samych obiektów (zgodnie z propozycją Dotevo). Stosuję też kompresję, ale niektóre Proxy nie zezwalają na skorzystanie z tego rozwiązania, a szkoda - bo kompresja tych danych daje zyski typu 14x mniejsze pliki.

Polimerek:

Pewnie fajnie będzie połączyć te mapy w jedną. Na ten rok będziemy potrzebować listę zabytków, które jeszcze nie mają zdjęcia (albo mają kiepskie) - bo za fotografowanie takich ma być specjalna nagroda. Jakby była mapa pokazująca obiekty z tej listy, to by było super.

Jestem chętny do współpracy. Mapa Yarla na pewno wizualnie jest dużo lepsza niż moja :-). Co do potrzeb - to taka mapa jest u mnie - wybierz warstwę:
“Zabytki bez zdjęć o ustalonej pozycji”
“Zabytki bez zdjęć o nieustalonej pozycji”

I dostaniesz na mapie dokładnie to, o co chodzi.

Przy robieniu swojej mapy, znalzłem też 2995 zabytków, które na stronach konkursu nie mają podlinkowanego zdjęcia, ale istnieje zdjęcie w Wikimedia Commons, które twierdzi że jest zdjęciem tego zabytku lub istnieje podpięte zdjęcie w OSM tego zabytku. Dobrze by było to wyprostować przed konkursem. Do tego służy mapa TODOS i warstwa “(WLZ) zdjęcia do dodnia”. Oczywiście - dane też mogę podesłać w innej formie.

Edit: juz wiem dlaczego u Yarla jest mniej zabytków - API z którego on korzysta zwraca pierwsze n obiektów, zgaduję, że w w tym przypadku mamy do czynienia z ograniczeniem 100, stad te *różnice

WiktorN · 2014-08-13T07:54:43.000Z

Polimerek:

Na ten rok będziemy potrzebować listę zabytków, które jeszcze nie mają zdjęcia (albo mają kiepskie)

Jeżeli jest jakiś algorym, który wskaże, które zdjęcia są “kiepskie”, to chętnie to uwzględnię

Polimerek · 2014-08-13T14:20:59.000Z

WiktorN:

Polimerek:

Na ten rok będziemy potrzebować listę zabytków, które jeszcze nie mają zdjęcia (albo mają kiepskie)

Jeżeli jest jakiś algorym, który wskaże, które zdjęcia są “kiepskie”, to chętnie to uwzględnię

Z automatu można by obiekty ze zdjęciami o małej rozdzielczności wyłapać - np. poniżej 1000 px po dłuższym boku.

Polimerek · 2014-08-13T14:21:55.000Z

Skontaktuj się z Yarlem - tylko teraz on jest UK - ma za tydzień wrócić.

WiktorN · 2014-08-13T17:05:46.000Z

Polimerek:

Skontaktuj się z Yarlem - tylko teraz on jest UK - ma za tydzień wrócić.

Jestem w kontakcie z Yarlem, rozumiem teraz, czemu jeszcze nie odpowiedział.

Polimerek:

Z automatu można by obiekty ze zdjęciami o małej rozdzielczności wyłapać - np. poniżej 1000 px po dłuższym boku.

To powinno być łatwe dla zdjęć w Commons. W takiej sytuacji bym zostawiał linki do zdjęcia, a kategoryzację bym ustawiał jako “bez zdjęcia”

WiktorN · 2014-09-02T04:55:24.000Z

Zaktualizowałem troszkę stronę. Dla robiących mapkę, parę podpowiedzi:

dalej używam tile-layer’a, tylko że dodałem maxNativeZoom - więc nie ściągam wielokrotonie tych samych danych, bo kafelki zawsze są na jednym poziomie zbliżenia. Jest jeszcze problem z “miganiem” znaczników, ale to kwestia współpracy z MarkerCluster
dodałem nagłówki Cache-control na odpowiedziach geoJson’a, dzięki czemu przeglądarka może częściej korzystać ze swego cache
zacząłem używać przed moją stroną CloudFlare CDN (wersja darmowa), co daje mi dodatkowy cache, pomiędzy serwerem, a użytkownikami

Jacek_lodz · 2014-09-03T18:36:58.000Z

Wiktor, jeszcze raz, tą drogą - dziękuję za mapę
Tak jak Ci pisałem szkoda, że jej nie miałem podczas urlopu i podróży po Polsce, bo pewnie zrobiłbym dużo więcej zdjęć, a może z zlokalizował zabytki bez lokalizacji.
Przycisk lokalizacyjny sprawdza się świetnie na urządzeniu mobilnym (akurat iPad mini). Właśnie przetestowałem podczas jazdy rowerem po Łodzi, dziwiąc się, że w okolicy gdzie często bywałe są zabytki bez zdjęć.

Jak często aktualizuje się baza po np. wpisaniu koordynatów na stronie Wiki lub dodaniu tam zdjęcia?

WiktorN · 2014-09-04T11:15:37.000Z

Jak na razie baza cyklicznie aktualizuje się raz dziennie. Próbuję się zsynchronizować z usługą https://tools.wmflabs.org/heritage/api/api.php, tak by dopiero po tym gdy ona przeskanuje strony na Wiki, ja bym odpytywał ją. Teraz przestawiłem odświeżanie na 6:30 rano i mam nadzieję, że to się poprawi.

Docelowo - mam nadzieję, że uda mi się w niedługim czasie zamienić https://tools.wmflabs.org/heritage/api/api.php na samodzielne skanowanie stron w Wikipedii, wtedy aktualizacje będę robił jakoś co 2-3h.

WiktorN · 2014-09-16T19:26:44.000Z

Jacek_lodz:

Jak często aktualizuje się baza po np. wpisaniu koordynatów na stronie Wiki lub dodaniu tam zdjęcia?

Od dziś aktualizacja wykonuje się co 5 minut względem Wikipedii. Dla pozostałych źródeł (Wikimedia Commons, OSM) - ok. 6-7 rano.

Dodatkowo dodałem warstwy w */todos.html pokazujące zabytki znajdujące się poza granicami administracyjnymi obszaru, w którym powinny się znajdować.

TomaszWójcik · 2014-11-16T09:10:08.000Z

NID udostępnił mapę zabytków online, w przeciwieństwie do tabelek na Wikipedii współrzędne zabytków są tam dokładne, więc tym samym serwis staje się bardzo przydatny do mapowania, minus jest taki że nie ma w nim numerów zabytków z tabelek które dodajemy jako “ref:nid=”

WiktorN · 2014-11-16T09:49:42.000Z

Warto też powtórzyć w tym wątku adres do tej strony:
http://www.mapy.zabytek.gov.pl/nid/

Ja w tej sytuacji jestem za tym, by jako ref:nid podawać InspireId - jest to identyfikator dostępny u źródła i niezmienny, wysłałem już maila do NID w sprawie udostępnienia danych. Jeżeli to nie poskutkuje, to spróbuję osobiście to wyciągnąć.

W wielu przypadkach jest więcej niż u nas, czy na listach Wikipedii, natomiast są przypadki, gdzie jednak mamy więcej informacji niż mapa NID

Polimerek · 2014-11-16T11:05:51.000Z

WiktorN:

Warto też powtórzyć w tym wątku adres do tej strony:
http://www.mapy.zabytek.gov.pl/nid/

Ja w tej sytuacji jestem za tym, by jako ref:nid podawać InspireId - jest to identyfikator dostępny u źródła i niezmienny, wysłałem już maila do NID w sprawie udostępnienia danych. Jeżeli to nie poskutkuje, to spróbuję osobiście to wyciągnąć.

W wielu przypadkach jest więcej niż u nas, czy na listach Wikipedii, natomiast są przypadki, gdzie jednak mamy więcej informacji niż mapa NID

Oby to był niezmienny… niezmienność tych identyfikatorów powinna ostatecznie zapewnić ustawa. W tej chwili z ustawy wynika, że jedyne oficjalne identyfikatory to numery decyzji wojewódzkich konserwatorów. One są na aktach w centralnym rejestrze zabytków i są wpisywane do ksiąg wieczystych - więc naprostowanie tego nie jest takim prostym zadaniem, zwłaszcza, że każdy z wojewódzkich ma swoją odrębną numerację… Do tego dochodzą jeszcze rejestry gminne, które mają jeszcze inną numerację i które nie wchodzą do centralnego, oprócz pewnych wyjątków…

Ustawa powinna zdefiniować na nowy rejestr centralny i ustalić jednolity sposób numeracji zabytków. Na tą chwilę te inikalne id NID-u nie mają żadnych podstaw prawnych, więc NID może choćby jutro przerobić tę numerację na jakąś inną…

WiktorN · 2014-11-16T17:05:10.000Z

Polimerek:

Na tą chwilę te inikalne id NID-u nie mają żadnych podstaw prawnych, więc NID może choćby jutro przerobić tę numerację na jakąś inną…

A INSPIRE nam w tym zakresie nie pomaga? W sensie - że, a) jest podstawą prawną, b) gwarantuje +/- jednoznaczność identyfikacji? Probówałem się na szybko przegryźć przez okoliczne dyrektywy i rozporządzenia, ale niestety nic jednoznacznego nie znalazłem.

Kazik_N · 2014-11-16T19:37:42.000Z

Temat dyrektywy nieco rozjaśnia załącznik nr 3 „Programu budowy infrastruktury informacji przestrzennej” http://www.radaiip.gov.pl/__data/assets/pdf_file/0006/58839/Zal3_Program_Budowy_IIP_MKiDN_NID.pdf

Dyrektywa Inspire została zaimplementowana w Polsce poprzez Ustawę o IIP. W znacznym skrócie nakazuje ona prowadzenie oraz udostępnianie za pośrednictwem infrastruktury informacji przestrzennej danych o obszarach chronionych, do których zaliczają się m.in. obszary wpisane do rejestru zabytków. Ustawa o IIP nakazuje umożliwienie przeszukiwania , przeglądania i pobierania tych zbiorów za pośrednictwem środków komunikacji elektronicznej. Jednak powszechny i nieodpłatny dostęp zawęża ona jedynie do usług przeszukiwania i przeglądania. Koszty pobierania rejestrów państwowych pozostawiono w gestii odrębnych rozporządzeń. Z godnie z rozp. z 2011 Ministra Kultury http://isap.sejm.gov.pl/DetailsServlet?id=WDU20111130661 rejestr zabytków jest prowadzony wyłącznie w formie papierowej!

Moja własna interpretacja jest następująca. Instytucja państwowa posiada dane przestrzenne o obszarach chronionych nie będące rejestrem, nie będące też dokumentem w rozumieniu ustawy o informacji publicznej. Ustawa o IIP nakazuje umożliwienie pobrania informacji o obszarach chronionych, ale nie koniecznie za darmo. Jednak żadne rozporządzenie nie nakazało pobierania opłat za udostępnianie w wersji elektronicznej zarówno danych o formach ochrony przyrody jak i danych o obszarach wpisanych do rejestru zabytków oraz nie włączyło tych danych do płatnego “zasobu geodezyjnego”.

gogeo · 2015-12-30T06:27:42.000Z

WiktorN:

Przygotowałem dwie mapki na bazie danych z:

strony WikiLubiZabytki (lista zabytków)

Wikimedia Commons

OSM

http://osm-cdn.vink.pl/osm/html-nid

http://osm-cdn.vink.pl/osm/html-nid/todos.html - lista rzeczy do posprzątania na liście zabytków (docelowo - również OSM). Na

Hej,
wielkie dzięki za obie mapy - pierwsza jest bardzo pomocna. Synchronizacja tak ja pisałeś jest prawie natychmiastowa.

Pytanie techniczne, czy są jakieś standardowe metody synchronizacji danych między wiki a openstreetmap? Czy też wszystko to własne skrypty?

Darek

wmyrda · 2017-09-26T20:19:21.000Z

WiktorN:

Przygotowałem dwie mapki na bazie danych z:

strony WikiLubiZabytki (lista zabytków)

Wikimedia Commons

OSM

http://osm-cdn.vink.pl/osm/html-nid - mapa zabytków w podziale na te, które mają zdjęcia i nadaną lokalizację, oraz te, które zdjęć nie mają i lokalizacja jest nie znana. W przypadku, gdy nigdzie nie znalazłem informacji o lokalizacji zabytku, wykorzystałem najlepszy strzał Nominatima by umieścić ikonę.

Znajduję ta mapkę bardzo pomocną przy określeniu położenia obiektów którym należy przypisać stosowne oznaczenia ref:nid oraz heritage. Korzystam z warstwy pierwszej i drugiej.
Pytanie brzmi czy można te warstwy lub jeszcze lepiej warstwy z https://mapy.zabytek.gov.pl/nid/ gdzie ukazane są również obszary chronione można dodać jako warstwę WMS do JOSM?

Tak swoją drogą może ktoś ich pytał o udostępnienie informacji w formie plików SHP?

EDIT:
Doczytałem, że WMS również jest udostępniony jako dane publiczne pod adresem https://danepubliczne.gov.pl/dataset/rejestr-zabytkow-nieruchomych
z adnotacją, która wydaje się w żaden sposób nie przeszkadza w użyciu tej informacji w OSM

Odbiorca powinien poinformować o źródle, czasie wytworzenia i pozyskania informacji od podmiotu zobowiązanego

gdyż informacje o źródle czyli w tym wypadku NID dodajemy do komentarza wprowadzanych zmian.

EDIT 2:
Nie ma tam natomiast pliku SHP a jedynie plik CSV, który jak przeglądam te tabelki nie zawiera danych lokalizacyjnych by móc go przerobić na SHP. Ktoś wie czy da się to jakoś sensownie ugryźć?

EDIT 3:
Skoro o legalności mowa to wykorzystują to domyślnie warstwę OSM aczkolwiek adnotacji nie odnajduję. Być może dlatego, że portal uznają za nieukończony

Obecna wersja portalu mapowego jest wersją testową i jednym z elementów systemu informatycznego służącego zarządzaniu bazą danych geoprzestrzennych o zabytkach, który docelowo będzie publikował rozszerzone dane określające nazwę zabytku, datę jego powstania, remontów i przekształceń.

co jednak wydaje się dobrym momentem by do nich napisać z prośbą o udostępnienie danych w formie pliku SHP jednocześnie przypominając o konieczności dodania atrybucji OSM.

WiktorN · 2017-09-29T22:04:15.000Z

wmyrda:

EDIT 2:
Nie ma tam natomiast pliku SHP a jedynie plik CSV, który jak przeglądam te tabelki nie zawiera danych lokalizacyjnych by móc go przerobić na SHP. Ktoś wie czy da się to jakoś sensownie ugryźć?

CSV ma dużo fajnych informacji. Można go połączyć, z tym co daje WMS. Niestety to wymaga trochę kombinowania, np. za pośrednictwem GetFeatureInfo, by znaleźć gdzie są poszczególne obiekty.

wmyrda · 2017-10-12T08:40:31.000Z

WiktorN:

CSV ma dużo fajnych informacji. Można go połączyć, z tym co daje WMS. Niestety to wymaga trochę kombinowania, np. za pośrednictwem GetFeatureInfo, by znaleźć gdzie są poszczególne obiekty.

Mam nadzieję że ktoś do tego przysiądzie, gdyż obecnie dodaję te dane w pełni ręcznie i jest to bardzo pracochłonne, a końca choćby dla samego Podkarpacia nie widać

Tak przy okazji równolegle istnieje bardzo rozbudowana baza zdjęć obiektów historycznych wraz z opisami na licencji CC3.0 udostępniona na https://zabytek.pl/pl
Czy istnieje tu jakaś możliwość automatyzacji dodania tych informacji do pól image oraz description? Wydaje się to osiągalne gdyż patrząc po kodzie strony to najistotniejsze informacje zawarte są w metatagach np. dla strony https://zabytek.pl/pl/obiekty/zespol-koszar-wojskowych-2492

    <meta property="fb:app_id" content="266818357002385" /> 
    <meta property="og:title" content="Zespół Koszar Wojskowych, Leszno - Zabytek.pl">
    <meta property="og:description" content="Zespół Koszar Wojskowych stanowi zwarte i jednorodne stylowo założenie architektoniczno-przestrzenne wpisujące się w urbanistyczny krajobraz miasta.">
    <meta property="og:image" content="https://zabytek.pl/public/upload/objects/thumb/567969142b502.jpg">
    <meta property="og:image:width" content="480" />
    <meta property="og:image:height" content="319" />
    <meta property="og:url" content="https://zabytek.pl/pl/obiekty/zespol-koszar-wojskowych-2492">