OSM i Wiki Lubi Zabytki

TomaszWójcik · 2014-07-05T18:14:27.000Z

Może ktoś z osób prowadzących często rozmowy z urzędami mógłby dowiedzieć się na jakim etapie jest ta aktualizacja w NID? Wtedy będziemy wiedzieć na czym stoimy. Co do potencjalnego tagowania nowych numerów proponowałbym je w “ref:nid” a przeniesienie obecnych do “alt_ref:nid” lub “old_ref:nid”, w każdym razie na dzień dzisiejszy stoję na stanowisku żeby poczekać z tym do oficjalnej aktualizacji NID, onumerowanych zabytków nie przybywa przecież w osm w lawinowym tempie

WiktorN · 2014-08-12T05:22:58.000Z

Przygotowałem dwie mapki na bazie danych z:

strony WikiLubiZabytki (lista zabytków)
Wikimedia Commons
OSM

http://osm-cdn.vink.pl/osm/html-nid - mapa zabytków w podziale na te, które mają zdjęcia i nadaną lokalizację, oraz te, które zdjęć nie mają i lokalizacja jest nie znana. W przypadku, gdy nigdzie nie znalazłem informacji o lokalizacji zabytku, wykorzystałem najlepszy strzał Nominatima by umieścić ikonę.

http://osm-cdn.vink.pl/osm/html-nid/todos.html - lista rzeczy do posprzątania na liście zabytków (docelowo - również OSM). Na razie do wyboru są warstwy:

Aktualizacja pozycji na stronie WikiLubiZabytki (WLZ)
Aktualizacja informacji o zdjęciu

Mam plan dodać:

aktualizacja numeru ref:nid na id zabytku (OSM)
aktualizacja tagu wikipedia/image
propozycja obiektu OSM, który powinien być oznaczony tagiem heritage=2 (i pozostałymi dla zabytków)

Z linkami do JOSM-a, który załaduje odpowiedni obiekt z modyfikacjami.

Przy okazji - czy ktoś ma doświadczeniu w łączeniu:

https://github.com/Leaflet/Leaflet.markercluster
https://github.com/glenrobertson/leaflet-tilelayer-geojson/
?

Jakieś pomysły na usprawnienia?

Dotevo · 2014-08-12T06:11:55.000Z

WiktorN:

https://github.com/glenrobertson/leafle … r-geojson/

Czy TileLayer ma sens? Cały czas serwujesz takie same dane (chyba) więc nie wiedzę sensu przeładowania danych przy przybliżaniu i oddalaniu.

WiktorN:

https://github.com/Leaflet/Leaflet.markercluster

Na tyle na ile użyłem na swojej stronie http://osm24.eu

W łączeniu tego nie mam doświadczenia.

WiktorN · 2014-08-12T07:10:25.000Z

Dotevo:

Czy TileLayer ma sens? Cały czas serwujesz takie same dane (chyba) więc nie wiedzę sensu przeładowania danych przy przybliżaniu i oddalaniu.

Cały GeoJSON ma powyżej 10MB, więc pomyślałem, że jak zaczynać przy dużych przybliżeniach, to nie będę ściągał wszystkich punktów, tylko te - które zmieszczą się na mapie. TileLayer ma też o tyle sens, że łatwo go zcache’ować w przeglądarce, albo po stronie serwera.

Tyle, że dla mapek - gdzie zaczynam od widoku na całą Polskę - to rzeczywiście nie ma sensu.

Polimerek · 2014-08-12T21:38:47.000Z

WiktorN:

Dotevo:

Czy TileLayer ma sens? Cały czas serwujesz takie same dane (chyba) więc nie wiedzę sensu przeładowania danych przy przybliżaniu i oddalaniu.

Cały GeoJSON ma powyżej 10MB, więc pomyślałem, że jak zaczynać przy dużych przybliżeniach, to nie będę ściągał wszystkich punktów, tylko te - które zmieszczą się na mapie. TileLayer ma też o tyle sens, że łatwo go zcache’ować w przeglądarce, albo po stronie serwera.

Tyle, że dla mapek - gdzie zaczynam od widoku na całą Polskę - to rzeczywiście nie ma sensu.

Trochę to wyważanie otwartych drzwi, bo oficjalna mapka zrobiona przez Yarla w zeszłym roku, nadal sobie działa:

http://wikizabytki.pl/mapa/#12/51.7616/19.5320

z tymże ona bierze dane nie z wiki, tylko z osobnej bazy danych, dzięki czemu działa trochę szybciej…

Pewnie fajnie będzie połączyć te mapy w jedną. Na ten rok będziemy potrzebować listę zabytków, które jeszcze nie mają zdjęcia (albo mają kiepskie) - bo za fotografowanie takich ma być specjalna nagroda. Jakby była mapa pokazująca obiekty z tej listy, to by było super.

WiktorN · 2014-08-13T07:39:42.000Z

Polimerek:

Trochę to wyważanie otwartych drzwi, bo oficjalna mapka zrobiona przez Yarla w zeszłym roku, nadal sobie działa:

http://wikizabytki.pl/mapa/#12/51.7616/19.5320

Trochę tak, a trochę nie - bo na mojej mapie jest więcej informacji. U mnie jest dodatkowo 38344 dodatkowe oznaczenia zabytków, z ich przypuszczalną lokalizacją (odgadniętą na podstawie odpytań Nominatima). Są takie przypadkii, że zabytki nie mają podanej lokalizacji, ale są dla nich zdjęcia (szkoda, że autor zdjęcia nie podzielił się informacją o lokalizacji), ale te zdjęcia niestety nie są geo-otagowane, więc nie mam na podstawie czego ustalić lokalizacji.

Polimerek:

z tymże ona bierze dane nie z wiki, tylko z osobnej bazy danych, dzięki czemu działa trochę szybciej…

Przyczny, dla których moje rozwiązanie działa wolniej są dwie:

Mam sporo więcej obiektów do pokazania. Porównaj: WikiZabytki oraz Zaybtki OSM+Wiki+Commons. U Yarla jest jakieś 100 punktów, u mnie ~1000 (tylko na warstwie z zabytkami o ustalonej pozycji, a są jeszcze 3 inne warstawy).
Póki co, dość lista obiektów jest dość duża, dla obszaru z punktu 1, u mnie jest to 1MB, a u Yarla - 60kb, więc Yarla rozwiązanie przesyła z 40% mniej danych. Pomyślę jeszcze nad optymalizacją przekazywanych danych

Poza optymalizacją - mogę też zrobić tak, że będę ściągał do przeglądarki wszystkie obiekty (jakieś 10MB), będzie to trochę trwało (i zarzynało przeglądarkę), ale przynajmniej nie będzie dociągania wielokrotnie tych samych obiektów (zgodnie z propozycją Dotevo). Stosuję też kompresję, ale niektóre Proxy nie zezwalają na skorzystanie z tego rozwiązania, a szkoda - bo kompresja tych danych daje zyski typu 14x mniejsze pliki.

Polimerek:

Pewnie fajnie będzie połączyć te mapy w jedną. Na ten rok będziemy potrzebować listę zabytków, które jeszcze nie mają zdjęcia (albo mają kiepskie) - bo za fotografowanie takich ma być specjalna nagroda. Jakby była mapa pokazująca obiekty z tej listy, to by było super.

Jestem chętny do współpracy. Mapa Yarla na pewno wizualnie jest dużo lepsza niż moja :-). Co do potrzeb - to taka mapa jest u mnie - wybierz warstwę:
“Zabytki bez zdjęć o ustalonej pozycji”
“Zabytki bez zdjęć o nieustalonej pozycji”

I dostaniesz na mapie dokładnie to, o co chodzi.

Przy robieniu swojej mapy, znalzłem też 2995 zabytków, które na stronach konkursu nie mają podlinkowanego zdjęcia, ale istnieje zdjęcie w Wikimedia Commons, które twierdzi że jest zdjęciem tego zabytku lub istnieje podpięte zdjęcie w OSM tego zabytku. Dobrze by było to wyprostować przed konkursem. Do tego służy mapa TODOS i warstwa “(WLZ) zdjęcia do dodnia”. Oczywiście - dane też mogę podesłać w innej formie.

Edit: juz wiem dlaczego u Yarla jest mniej zabytków - API z którego on korzysta zwraca pierwsze n obiektów, zgaduję, że w w tym przypadku mamy do czynienia z ograniczeniem 100, stad te *różnice

WiktorN · 2014-08-13T07:54:43.000Z

Polimerek:

Na ten rok będziemy potrzebować listę zabytków, które jeszcze nie mają zdjęcia (albo mają kiepskie)

Jeżeli jest jakiś algorym, który wskaże, które zdjęcia są “kiepskie”, to chętnie to uwzględnię

Polimerek · 2014-08-13T14:20:59.000Z

WiktorN:

Polimerek:

Na ten rok będziemy potrzebować listę zabytków, które jeszcze nie mają zdjęcia (albo mają kiepskie)

Jeżeli jest jakiś algorym, który wskaże, które zdjęcia są “kiepskie”, to chętnie to uwzględnię

Z automatu można by obiekty ze zdjęciami o małej rozdzielczności wyłapać - np. poniżej 1000 px po dłuższym boku.

Polimerek · 2014-08-13T14:21:55.000Z

Skontaktuj się z Yarlem - tylko teraz on jest UK - ma za tydzień wrócić.

WiktorN · 2014-08-13T17:05:46.000Z

Polimerek:

Skontaktuj się z Yarlem - tylko teraz on jest UK - ma za tydzień wrócić.

Jestem w kontakcie z Yarlem, rozumiem teraz, czemu jeszcze nie odpowiedział.

Polimerek:

Z automatu można by obiekty ze zdjęciami o małej rozdzielczności wyłapać - np. poniżej 1000 px po dłuższym boku.

To powinno być łatwe dla zdjęć w Commons. W takiej sytuacji bym zostawiał linki do zdjęcia, a kategoryzację bym ustawiał jako “bez zdjęcia”

WiktorN · 2014-09-02T04:55:24.000Z

Zaktualizowałem troszkę stronę. Dla robiących mapkę, parę podpowiedzi:

dalej używam tile-layer’a, tylko że dodałem maxNativeZoom - więc nie ściągam wielokrotonie tych samych danych, bo kafelki zawsze są na jednym poziomie zbliżenia. Jest jeszcze problem z “miganiem” znaczników, ale to kwestia współpracy z MarkerCluster
dodałem nagłówki Cache-control na odpowiedziach geoJson’a, dzięki czemu przeglądarka może częściej korzystać ze swego cache
zacząłem używać przed moją stroną CloudFlare CDN (wersja darmowa), co daje mi dodatkowy cache, pomiędzy serwerem, a użytkownikami

Jacek_lodz · 2014-09-03T18:36:58.000Z

Wiktor, jeszcze raz, tą drogą - dziękuję za mapę
Tak jak Ci pisałem szkoda, że jej nie miałem podczas urlopu i podróży po Polsce, bo pewnie zrobiłbym dużo więcej zdjęć, a może z zlokalizował zabytki bez lokalizacji.
Przycisk lokalizacyjny sprawdza się świetnie na urządzeniu mobilnym (akurat iPad mini). Właśnie przetestowałem podczas jazdy rowerem po Łodzi, dziwiąc się, że w okolicy gdzie często bywałe są zabytki bez zdjęć.

Jak często aktualizuje się baza po np. wpisaniu koordynatów na stronie Wiki lub dodaniu tam zdjęcia?

WiktorN · 2014-09-04T11:15:37.000Z

Jak na razie baza cyklicznie aktualizuje się raz dziennie. Próbuję się zsynchronizować z usługą https://tools.wmflabs.org/heritage/api/api.php, tak by dopiero po tym gdy ona przeskanuje strony na Wiki, ja bym odpytywał ją. Teraz przestawiłem odświeżanie na 6:30 rano i mam nadzieję, że to się poprawi.

Docelowo - mam nadzieję, że uda mi się w niedługim czasie zamienić https://tools.wmflabs.org/heritage/api/api.php na samodzielne skanowanie stron w Wikipedii, wtedy aktualizacje będę robił jakoś co 2-3h.

WiktorN · 2014-09-16T19:26:44.000Z

Jacek_lodz:

Jak często aktualizuje się baza po np. wpisaniu koordynatów na stronie Wiki lub dodaniu tam zdjęcia?

Od dziś aktualizacja wykonuje się co 5 minut względem Wikipedii. Dla pozostałych źródeł (Wikimedia Commons, OSM) - ok. 6-7 rano.

Dodatkowo dodałem warstwy w */todos.html pokazujące zabytki znajdujące się poza granicami administracyjnymi obszaru, w którym powinny się znajdować.

TomaszWójcik · 2014-11-16T09:10:08.000Z

NID udostępnił mapę zabytków online, w przeciwieństwie do tabelek na Wikipedii współrzędne zabytków są tam dokładne, więc tym samym serwis staje się bardzo przydatny do mapowania, minus jest taki że nie ma w nim numerów zabytków z tabelek które dodajemy jako “ref:nid=”

WiktorN · 2014-11-16T09:49:42.000Z

Warto też powtórzyć w tym wątku adres do tej strony:
http://www.mapy.zabytek.gov.pl/nid/

Ja w tej sytuacji jestem za tym, by jako ref:nid podawać InspireId - jest to identyfikator dostępny u źródła i niezmienny, wysłałem już maila do NID w sprawie udostępnienia danych. Jeżeli to nie poskutkuje, to spróbuję osobiście to wyciągnąć.

W wielu przypadkach jest więcej niż u nas, czy na listach Wikipedii, natomiast są przypadki, gdzie jednak mamy więcej informacji niż mapa NID

Polimerek · 2014-11-16T11:05:51.000Z

WiktorN:

Warto też powtórzyć w tym wątku adres do tej strony:
http://www.mapy.zabytek.gov.pl/nid/

Ja w tej sytuacji jestem za tym, by jako ref:nid podawać InspireId - jest to identyfikator dostępny u źródła i niezmienny, wysłałem już maila do NID w sprawie udostępnienia danych. Jeżeli to nie poskutkuje, to spróbuję osobiście to wyciągnąć.

W wielu przypadkach jest więcej niż u nas, czy na listach Wikipedii, natomiast są przypadki, gdzie jednak mamy więcej informacji niż mapa NID

Oby to był niezmienny… niezmienność tych identyfikatorów powinna ostatecznie zapewnić ustawa. W tej chwili z ustawy wynika, że jedyne oficjalne identyfikatory to numery decyzji wojewódzkich konserwatorów. One są na aktach w centralnym rejestrze zabytków i są wpisywane do ksiąg wieczystych - więc naprostowanie tego nie jest takim prostym zadaniem, zwłaszcza, że każdy z wojewódzkich ma swoją odrębną numerację… Do tego dochodzą jeszcze rejestry gminne, które mają jeszcze inną numerację i które nie wchodzą do centralnego, oprócz pewnych wyjątków…

Ustawa powinna zdefiniować na nowy rejestr centralny i ustalić jednolity sposób numeracji zabytków. Na tą chwilę te inikalne id NID-u nie mają żadnych podstaw prawnych, więc NID może choćby jutro przerobić tę numerację na jakąś inną…

WiktorN · 2014-11-16T17:05:10.000Z

Polimerek:

Na tą chwilę te inikalne id NID-u nie mają żadnych podstaw prawnych, więc NID może choćby jutro przerobić tę numerację na jakąś inną…

A INSPIRE nam w tym zakresie nie pomaga? W sensie - że, a) jest podstawą prawną, b) gwarantuje +/- jednoznaczność identyfikacji? Probówałem się na szybko przegryźć przez okoliczne dyrektywy i rozporządzenia, ale niestety nic jednoznacznego nie znalazłem.

Kazik_N · 2014-11-16T19:37:42.000Z

Temat dyrektywy nieco rozjaśnia załącznik nr 3 „Programu budowy infrastruktury informacji przestrzennej” http://www.radaiip.gov.pl/__data/assets/pdf_file/0006/58839/Zal3_Program_Budowy_IIP_MKiDN_NID.pdf

Dyrektywa Inspire została zaimplementowana w Polsce poprzez Ustawę o IIP. W znacznym skrócie nakazuje ona prowadzenie oraz udostępnianie za pośrednictwem infrastruktury informacji przestrzennej danych o obszarach chronionych, do których zaliczają się m.in. obszary wpisane do rejestru zabytków. Ustawa o IIP nakazuje umożliwienie przeszukiwania , przeglądania i pobierania tych zbiorów za pośrednictwem środków komunikacji elektronicznej. Jednak powszechny i nieodpłatny dostęp zawęża ona jedynie do usług przeszukiwania i przeglądania. Koszty pobierania rejestrów państwowych pozostawiono w gestii odrębnych rozporządzeń. Z godnie z rozp. z 2011 Ministra Kultury http://isap.sejm.gov.pl/DetailsServlet?id=WDU20111130661 rejestr zabytków jest prowadzony wyłącznie w formie papierowej!

Moja własna interpretacja jest następująca. Instytucja państwowa posiada dane przestrzenne o obszarach chronionych nie będące rejestrem, nie będące też dokumentem w rozumieniu ustawy o informacji publicznej. Ustawa o IIP nakazuje umożliwienie pobrania informacji o obszarach chronionych, ale nie koniecznie za darmo. Jednak żadne rozporządzenie nie nakazało pobierania opłat za udostępnianie w wersji elektronicznej zarówno danych o formach ochrony przyrody jak i danych o obszarach wpisanych do rejestru zabytków oraz nie włączyło tych danych do płatnego “zasobu geodezyjnego”.

gogeo · 2015-12-30T06:27:42.000Z

WiktorN:

Przygotowałem dwie mapki na bazie danych z:

strony WikiLubiZabytki (lista zabytków)

Wikimedia Commons

OSM

http://osm-cdn.vink.pl/osm/html-nid

http://osm-cdn.vink.pl/osm/html-nid/todos.html - lista rzeczy do posprzątania na liście zabytków (docelowo - również OSM). Na

Hej,
wielkie dzięki za obie mapy - pierwsza jest bardzo pomocna. Synchronizacja tak ja pisałeś jest prawie natychmiastowa.

Pytanie techniczne, czy są jakieś standardowe metody synchronizacji danych między wiki a openstreetmap? Czy też wszystko to własne skrypty?

Darek