OSM i Wiki Lubi Zabytki

WiktorN · 2014-07-05T16:05:28.000Z

Tomasz_W:

taka zmiana teraz tylko wprowadzi ludzi w błąd i zniechęci do mapowania zabytków

Możesz wyjaśnić, dlaczego teraz taka zmiana wprowadzi ludzi w błąd i zniechęci do mapowania zabytków?

Maszynkę do przekonwertowania ref:nid na nowy standard można robić już teraz, i to mam w planach. Więc porządek w danych byśmy zachowali.

To co chciałbym osiągnąć, to jednoznaczną identyfikację zabytku. W tej chwili - na podstawie danych w OSM, nie jesteśmy jednoznacznie określić, o którym zabytku mówimy, co utrudnia porównywanie danych z innymi zasobami informacji o zabytkach (głównie chodzi mi o Wikipedię).

Im wcześniej zaczniemy, tym mniej później będzie roboty z konwersją obecnego stanu, na stan docelowy.

TomaszWójcik · 2014-07-05T16:34:36.000Z

WiktorN:

Możesz wyjaśnić, dlaczego teraz taka zmiana wprowadzi ludzi w błąd i zniechęci do mapowania zabytków?

Bo w oficjalnym wykazie zabytków będzie pewien kod, w osm inny, a w tabelkach na wikipedii jeszcze oba jednocześnie. Trochę mnie martwi to tutejsze forumowe podejście że “napisze się o tym w osm-wiki i wszyscy ogarną” kiedy podejrzewam że być może nawet i większość użytkowników nie wie o jej istnieniu. Jeśli kogoś nie przekonuje argument że może to (w obecnej sytuacji) zrobić bałagan to zwracam też uwagę na to że w oficjalnych wykazach NID nie widnieją jeszcze nowe numery, więc wprowadzanie ich do osm będzie jakby nie było wprowadzeniem danych nieoficjalnych.

WiktorN · 2014-07-05T17:20:53.000Z

Ok. Rozumiem. Tylko pytanie jest, skąd zwykły użytkownik bierze informacje, w którym rejestrze znajduje się zabytek. Ja na swoje kilkadziesiąt, które wprowadziłem, miałem tylko kilka przypadków, gdzie obok zabytku stała tablica z informacją, że zabytek znajduje się w takim rejestrze zabytków. W pozostałych przypadkach - była tylko tabliczka NID (jeżeli w ogóle) - a informacje o rejestrze wyciągałem ze stron Wiki Lubi Zabytki.

Rozumiem argument, że będziemy wprowadzać dane, które nie są podawane oficjalnie, ale zauważ, że obecne użycie ref:nid, jako podawanie identyfikatora rejestru jest niezgodne z założeniem, że ref wskazuje jednoznacznie na obiekt. To tak jakby do ref dla dróg wprowadzać identyfikację rozporządzenia, które nadaje odpowiednią nazwę drodze. Ciągnąc ten argument dalej - można powidzieć, że zamiast ref:nid, powinniśmy podawać source:heritage (lub cokolwiek innego), a ref:nid nie podawać - bo takiego rejestru nikt nie prowadzi.

Jednocześnie - tymczasowo, możemy podawać sobie jakiś inny tag (np. wlm:pl:id), w którym będziemy podawać identyfikator id zabytku - tak samo, jak podajemy np. tagi image. Tylko po co tak komplikować?

Jeżeli teraz użyjemy tego “niejawnego” id, jako ref:nid, to gdy NID wreszcie dorobi się oficjalnej identyfikacji obiektów, to migracja na ten system nie powinna być kłopotem, przy założeniu, że NID podzieli się nową bazą, tak samo jak podzielił się starą.

Mogę też postawić inaczej pytanie - w jakim tagu zapisywać ID z bazy NID?

TomaszWójcik · 2014-07-05T18:14:27.000Z

Może ktoś z osób prowadzących często rozmowy z urzędami mógłby dowiedzieć się na jakim etapie jest ta aktualizacja w NID? Wtedy będziemy wiedzieć na czym stoimy. Co do potencjalnego tagowania nowych numerów proponowałbym je w “ref:nid” a przeniesienie obecnych do “alt_ref:nid” lub “old_ref:nid”, w każdym razie na dzień dzisiejszy stoję na stanowisku żeby poczekać z tym do oficjalnej aktualizacji NID, onumerowanych zabytków nie przybywa przecież w osm w lawinowym tempie

WiktorN · 2014-08-12T05:22:58.000Z

Przygotowałem dwie mapki na bazie danych z:

strony WikiLubiZabytki (lista zabytków)
Wikimedia Commons
OSM

http://osm-cdn.vink.pl/osm/html-nid - mapa zabytków w podziale na te, które mają zdjęcia i nadaną lokalizację, oraz te, które zdjęć nie mają i lokalizacja jest nie znana. W przypadku, gdy nigdzie nie znalazłem informacji o lokalizacji zabytku, wykorzystałem najlepszy strzał Nominatima by umieścić ikonę.

http://osm-cdn.vink.pl/osm/html-nid/todos.html - lista rzeczy do posprzątania na liście zabytków (docelowo - również OSM). Na razie do wyboru są warstwy:

Aktualizacja pozycji na stronie WikiLubiZabytki (WLZ)
Aktualizacja informacji o zdjęciu

Mam plan dodać:

aktualizacja numeru ref:nid na id zabytku (OSM)
aktualizacja tagu wikipedia/image
propozycja obiektu OSM, który powinien być oznaczony tagiem heritage=2 (i pozostałymi dla zabytków)

Z linkami do JOSM-a, który załaduje odpowiedni obiekt z modyfikacjami.

Przy okazji - czy ktoś ma doświadczeniu w łączeniu:

https://github.com/Leaflet/Leaflet.markercluster
https://github.com/glenrobertson/leaflet-tilelayer-geojson/
?

Jakieś pomysły na usprawnienia?

Dotevo · 2014-08-12T06:11:55.000Z

WiktorN:

https://github.com/glenrobertson/leafle … r-geojson/

Czy TileLayer ma sens? Cały czas serwujesz takie same dane (chyba) więc nie wiedzę sensu przeładowania danych przy przybliżaniu i oddalaniu.

WiktorN:

https://github.com/Leaflet/Leaflet.markercluster

Na tyle na ile użyłem na swojej stronie http://osm24.eu

W łączeniu tego nie mam doświadczenia.

WiktorN · 2014-08-12T07:10:25.000Z

Dotevo:

Czy TileLayer ma sens? Cały czas serwujesz takie same dane (chyba) więc nie wiedzę sensu przeładowania danych przy przybliżaniu i oddalaniu.

Cały GeoJSON ma powyżej 10MB, więc pomyślałem, że jak zaczynać przy dużych przybliżeniach, to nie będę ściągał wszystkich punktów, tylko te - które zmieszczą się na mapie. TileLayer ma też o tyle sens, że łatwo go zcache’ować w przeglądarce, albo po stronie serwera.

Tyle, że dla mapek - gdzie zaczynam od widoku na całą Polskę - to rzeczywiście nie ma sensu.

Polimerek · 2014-08-12T21:38:47.000Z

WiktorN:

Dotevo:

Czy TileLayer ma sens? Cały czas serwujesz takie same dane (chyba) więc nie wiedzę sensu przeładowania danych przy przybliżaniu i oddalaniu.

Cały GeoJSON ma powyżej 10MB, więc pomyślałem, że jak zaczynać przy dużych przybliżeniach, to nie będę ściągał wszystkich punktów, tylko te - które zmieszczą się na mapie. TileLayer ma też o tyle sens, że łatwo go zcache’ować w przeglądarce, albo po stronie serwera.

Tyle, że dla mapek - gdzie zaczynam od widoku na całą Polskę - to rzeczywiście nie ma sensu.

Trochę to wyważanie otwartych drzwi, bo oficjalna mapka zrobiona przez Yarla w zeszłym roku, nadal sobie działa:

http://wikizabytki.pl/mapa/#12/51.7616/19.5320

z tymże ona bierze dane nie z wiki, tylko z osobnej bazy danych, dzięki czemu działa trochę szybciej…

Pewnie fajnie będzie połączyć te mapy w jedną. Na ten rok będziemy potrzebować listę zabytków, które jeszcze nie mają zdjęcia (albo mają kiepskie) - bo za fotografowanie takich ma być specjalna nagroda. Jakby była mapa pokazująca obiekty z tej listy, to by było super.

WiktorN · 2014-08-13T07:39:42.000Z

Polimerek:

Trochę to wyważanie otwartych drzwi, bo oficjalna mapka zrobiona przez Yarla w zeszłym roku, nadal sobie działa:

http://wikizabytki.pl/mapa/#12/51.7616/19.5320

Trochę tak, a trochę nie - bo na mojej mapie jest więcej informacji. U mnie jest dodatkowo 38344 dodatkowe oznaczenia zabytków, z ich przypuszczalną lokalizacją (odgadniętą na podstawie odpytań Nominatima). Są takie przypadkii, że zabytki nie mają podanej lokalizacji, ale są dla nich zdjęcia (szkoda, że autor zdjęcia nie podzielił się informacją o lokalizacji), ale te zdjęcia niestety nie są geo-otagowane, więc nie mam na podstawie czego ustalić lokalizacji.

Polimerek:

z tymże ona bierze dane nie z wiki, tylko z osobnej bazy danych, dzięki czemu działa trochę szybciej…

Przyczny, dla których moje rozwiązanie działa wolniej są dwie:

Mam sporo więcej obiektów do pokazania. Porównaj: WikiZabytki oraz Zaybtki OSM+Wiki+Commons. U Yarla jest jakieś 100 punktów, u mnie ~1000 (tylko na warstwie z zabytkami o ustalonej pozycji, a są jeszcze 3 inne warstawy).
Póki co, dość lista obiektów jest dość duża, dla obszaru z punktu 1, u mnie jest to 1MB, a u Yarla - 60kb, więc Yarla rozwiązanie przesyła z 40% mniej danych. Pomyślę jeszcze nad optymalizacją przekazywanych danych

Poza optymalizacją - mogę też zrobić tak, że będę ściągał do przeglądarki wszystkie obiekty (jakieś 10MB), będzie to trochę trwało (i zarzynało przeglądarkę), ale przynajmniej nie będzie dociągania wielokrotnie tych samych obiektów (zgodnie z propozycją Dotevo). Stosuję też kompresję, ale niektóre Proxy nie zezwalają na skorzystanie z tego rozwiązania, a szkoda - bo kompresja tych danych daje zyski typu 14x mniejsze pliki.

Polimerek:

Pewnie fajnie będzie połączyć te mapy w jedną. Na ten rok będziemy potrzebować listę zabytków, które jeszcze nie mają zdjęcia (albo mają kiepskie) - bo za fotografowanie takich ma być specjalna nagroda. Jakby była mapa pokazująca obiekty z tej listy, to by było super.

Jestem chętny do współpracy. Mapa Yarla na pewno wizualnie jest dużo lepsza niż moja :-). Co do potrzeb - to taka mapa jest u mnie - wybierz warstwę:
“Zabytki bez zdjęć o ustalonej pozycji”
“Zabytki bez zdjęć o nieustalonej pozycji”

I dostaniesz na mapie dokładnie to, o co chodzi.

Przy robieniu swojej mapy, znalzłem też 2995 zabytków, które na stronach konkursu nie mają podlinkowanego zdjęcia, ale istnieje zdjęcie w Wikimedia Commons, które twierdzi że jest zdjęciem tego zabytku lub istnieje podpięte zdjęcie w OSM tego zabytku. Dobrze by było to wyprostować przed konkursem. Do tego służy mapa TODOS i warstwa “(WLZ) zdjęcia do dodnia”. Oczywiście - dane też mogę podesłać w innej formie.

Edit: juz wiem dlaczego u Yarla jest mniej zabytków - API z którego on korzysta zwraca pierwsze n obiektów, zgaduję, że w w tym przypadku mamy do czynienia z ograniczeniem 100, stad te *różnice

WiktorN · 2014-08-13T07:54:43.000Z

Polimerek:

Na ten rok będziemy potrzebować listę zabytków, które jeszcze nie mają zdjęcia (albo mają kiepskie)

Jeżeli jest jakiś algorym, który wskaże, które zdjęcia są “kiepskie”, to chętnie to uwzględnię

Polimerek · 2014-08-13T14:20:59.000Z

WiktorN:

Polimerek:

Na ten rok będziemy potrzebować listę zabytków, które jeszcze nie mają zdjęcia (albo mają kiepskie)

Jeżeli jest jakiś algorym, który wskaże, które zdjęcia są “kiepskie”, to chętnie to uwzględnię

Z automatu można by obiekty ze zdjęciami o małej rozdzielczności wyłapać - np. poniżej 1000 px po dłuższym boku.

Polimerek · 2014-08-13T14:21:55.000Z

Skontaktuj się z Yarlem - tylko teraz on jest UK - ma za tydzień wrócić.

WiktorN · 2014-08-13T17:05:46.000Z

Polimerek:

Skontaktuj się z Yarlem - tylko teraz on jest UK - ma za tydzień wrócić.

Jestem w kontakcie z Yarlem, rozumiem teraz, czemu jeszcze nie odpowiedział.

Polimerek:

Z automatu można by obiekty ze zdjęciami o małej rozdzielczności wyłapać - np. poniżej 1000 px po dłuższym boku.

To powinno być łatwe dla zdjęć w Commons. W takiej sytuacji bym zostawiał linki do zdjęcia, a kategoryzację bym ustawiał jako “bez zdjęcia”

WiktorN · 2014-09-02T04:55:24.000Z

Zaktualizowałem troszkę stronę. Dla robiących mapkę, parę podpowiedzi:

dalej używam tile-layer’a, tylko że dodałem maxNativeZoom - więc nie ściągam wielokrotonie tych samych danych, bo kafelki zawsze są na jednym poziomie zbliżenia. Jest jeszcze problem z “miganiem” znaczników, ale to kwestia współpracy z MarkerCluster
dodałem nagłówki Cache-control na odpowiedziach geoJson’a, dzięki czemu przeglądarka może częściej korzystać ze swego cache
zacząłem używać przed moją stroną CloudFlare CDN (wersja darmowa), co daje mi dodatkowy cache, pomiędzy serwerem, a użytkownikami

Jacek_lodz · 2014-09-03T18:36:58.000Z

Wiktor, jeszcze raz, tą drogą - dziękuję za mapę
Tak jak Ci pisałem szkoda, że jej nie miałem podczas urlopu i podróży po Polsce, bo pewnie zrobiłbym dużo więcej zdjęć, a może z zlokalizował zabytki bez lokalizacji.
Przycisk lokalizacyjny sprawdza się świetnie na urządzeniu mobilnym (akurat iPad mini). Właśnie przetestowałem podczas jazdy rowerem po Łodzi, dziwiąc się, że w okolicy gdzie często bywałe są zabytki bez zdjęć.

Jak często aktualizuje się baza po np. wpisaniu koordynatów na stronie Wiki lub dodaniu tam zdjęcia?

WiktorN · 2014-09-04T11:15:37.000Z

Jak na razie baza cyklicznie aktualizuje się raz dziennie. Próbuję się zsynchronizować z usługą https://tools.wmflabs.org/heritage/api/api.php, tak by dopiero po tym gdy ona przeskanuje strony na Wiki, ja bym odpytywał ją. Teraz przestawiłem odświeżanie na 6:30 rano i mam nadzieję, że to się poprawi.

Docelowo - mam nadzieję, że uda mi się w niedługim czasie zamienić https://tools.wmflabs.org/heritage/api/api.php na samodzielne skanowanie stron w Wikipedii, wtedy aktualizacje będę robił jakoś co 2-3h.

WiktorN · 2014-09-16T19:26:44.000Z

Jacek_lodz:

Jak często aktualizuje się baza po np. wpisaniu koordynatów na stronie Wiki lub dodaniu tam zdjęcia?

Od dziś aktualizacja wykonuje się co 5 minut względem Wikipedii. Dla pozostałych źródeł (Wikimedia Commons, OSM) - ok. 6-7 rano.

Dodatkowo dodałem warstwy w */todos.html pokazujące zabytki znajdujące się poza granicami administracyjnymi obszaru, w którym powinny się znajdować.

TomaszWójcik · 2014-11-16T09:10:08.000Z

NID udostępnił mapę zabytków online, w przeciwieństwie do tabelek na Wikipedii współrzędne zabytków są tam dokładne, więc tym samym serwis staje się bardzo przydatny do mapowania, minus jest taki że nie ma w nim numerów zabytków z tabelek które dodajemy jako “ref:nid=”

WiktorN · 2014-11-16T09:49:42.000Z

Warto też powtórzyć w tym wątku adres do tej strony:
http://www.mapy.zabytek.gov.pl/nid/

Ja w tej sytuacji jestem za tym, by jako ref:nid podawać InspireId - jest to identyfikator dostępny u źródła i niezmienny, wysłałem już maila do NID w sprawie udostępnienia danych. Jeżeli to nie poskutkuje, to spróbuję osobiście to wyciągnąć.

W wielu przypadkach jest więcej niż u nas, czy na listach Wikipedii, natomiast są przypadki, gdzie jednak mamy więcej informacji niż mapa NID

Polimerek · 2014-11-16T11:05:51.000Z

WiktorN:

Warto też powtórzyć w tym wątku adres do tej strony:
http://www.mapy.zabytek.gov.pl/nid/

Ja w tej sytuacji jestem za tym, by jako ref:nid podawać InspireId - jest to identyfikator dostępny u źródła i niezmienny, wysłałem już maila do NID w sprawie udostępnienia danych. Jeżeli to nie poskutkuje, to spróbuję osobiście to wyciągnąć.

W wielu przypadkach jest więcej niż u nas, czy na listach Wikipedii, natomiast są przypadki, gdzie jednak mamy więcej informacji niż mapa NID

Oby to był niezmienny… niezmienność tych identyfikatorów powinna ostatecznie zapewnić ustawa. W tej chwili z ustawy wynika, że jedyne oficjalne identyfikatory to numery decyzji wojewódzkich konserwatorów. One są na aktach w centralnym rejestrze zabytków i są wpisywane do ksiąg wieczystych - więc naprostowanie tego nie jest takim prostym zadaniem, zwłaszcza, że każdy z wojewódzkich ma swoją odrębną numerację… Do tego dochodzą jeszcze rejestry gminne, które mają jeszcze inną numerację i które nie wchodzą do centralnego, oprócz pewnych wyjątków…

Ustawa powinna zdefiniować na nowy rejestr centralny i ustalić jednolity sposób numeracji zabytków. Na tą chwilę te inikalne id NID-u nie mają żadnych podstaw prawnych, więc NID może choćby jutro przerobić tę numerację na jakąś inną…