Integracja danych CRFOP (Centralny Rejestr Form Ochrony Przyrody)

Cristoffs · 2019-10-05T19:42:05.000Z

Mateusz Konieczny:

A wrzucisz na githuba dane z Małopolski? Nawet nieobrobione.

Postaram się jutro. Jak będzie chwila to nawet może zrobię komplet na wszystkie województwa.

Cristoffs · 2019-10-06T10:18:12.000Z

W repozytorium na github-ie dodałem lubuskie i małopolskie, dane surowe, na wiki dodatkowo jest skrótowy opis struktury plików z rejestru i do tego link do danych na stronie.
Wieczorem postaram się dodać więcej województw oraz może coś wstępnie obrobię.
Jak będę obrabiał dane, zrobię słowniczek dla gatunków i dopiszę do wiki.

Mamy też zapytanie od kolegów z rejestru w sprawie integracji danych: Ośrodków opieki dla zwierząt Wydaje się, że to jest pomysł na małe MapParty online, co wy na to? Jakieś pomysły?

Cristoffs · 2019-10-07T10:47:00.000Z

Poszły dane dla wszystkich województw. Na razie są nieobrobione prosto z bazy danych CRFOP w formacie shp. W tym tygodniu postaram się rozdzielić na poszczególne kategorie, i dać w formacie osm.

Polimerek · 2019-10-07T11:51:28.000Z

Cristoffs:

Tu coś jest - “do dowolnego wykorzystania” - http://crfop.gdos.gov.pl/CRFOP/faq.jsf

Z treścią licencji może być problem, bo te dane pochodzą z aktów prawnych, więc licencją nie są objęte.

Nie tylko nie są objęte, ale z tego co wiem nie podlegają pod definicję licencji, ten sam problem był przy okazji rozmów z Głównym Geodetą Kraju (wms i takie tam). Dane Publiczne i koniec.

Powoli chciałbym się przymierzyć do zabytków, tam będzie dopiero jazda.

Co do konta dedykowane do wprowadzenia zmian, przy kolejnym województwie zostanie dopisanie.

Taki zapis oznacza po prostu, że są to dane będące w domenie publicznej na mocy ustawy o dostępie do informacji publicznej. W Wikipedii to by było oznakowane szablonem PD-Polish.

Domena publiczna to nigdy nie jest licencja - tylko jest to stwierdzenie faktu, że określone materiały w ogóle nie są objęte ochroną prawno-autorską - w tym przypadku na mocy ustawy. Udzielać licencję prawno-autorską jest sens tylko w stosunku do takich materiałów, do których ktoś ma prawa autorskie.

Cristoffs · 2019-10-07T13:10:25.000Z

Polimerek:

Domena publiczna to nigdy nie jest licencja - tylko jest to stwierdzenie faktu, że określone materiały w ogóle nie są objęte ochroną prawno-autorską - w tym przypadku na mocy ustawy. Udzielać licencję prawno-autorską jest sens tylko w stosunku do takich materiałów, do których ktoś ma prawa autorskie.

Czyli wystarczy dodać “Public domain” i już?

Cristoffs · 2019-10-08T17:49:28.000Z

W repozytorium pojawił się plik csv dla woj. dolnośląskiego. Pobierzna analiza wykazała, że mamy kilka niepodzinek. Pojawiła się kategoria inne - to trzeba będzie indywidualnie. Jako drzewa zakwalfikowane są jałowce oraz cypryski proponuje zmienić to na “shrub”.
Tutaj lista objektów:
inne-19
jaskinia-8
shrub-89
skałka-14
stone-34
tree-6655
źródło-1

no i pytanie co z nazwami aleja - przy każdym drzewie, jakieś pomysły?

Plik csv bez podziału na obiekty do pobrania tylko geometri jeszcze nie zmieniłem więc jest w EPSG:2180

Cristoffs · 2019-10-08T19:32:08.000Z

Dodałem jeszcze kilka plików do repozytorium, oraz na https://wiki.openstreetmap.org/wiki/Integracja_danych_CRFOP dodatkowe informacje o tagowaniu zostały dopisane.

Konto do masowej edycji też już zrobione, więc formalności będą załatwione około piątku (cristoffs_bot)

Cristoffs · 2019-10-09T07:56:46.000Z

Podrzucę wam jeszcze fragment dyskusji z Github-a. Co do procedury i kroków co, jak i dlaczego.

Dane csv są po to by móc nimi łatwo manipulować. Do tego dobry jest excel, ale najlepszy jest OpenRefine (soft opensource do manipulacji danymi - java) częściowo pozwala nawet zautomatyzować proces. Jak już dane mam podzielone (na poszczególne wartości “natural” - dla tych plików z wczoraj jeszcze tego nie zrobiłem.) o otagowane, wracaja do Qgisa. Tutaj jeszcze weryfikuję na szybko dublety z OSM (bufor do obiektów już istniejących oraz zaznacz przez lokalizacje), i już w shp, dane lecą do JOSM. Josm generuje plik OSM. Pewnie jest jakiś lepszy sposób na to, ale tak mi jest wygodnie.
Do piątku nic już nie ruszę za bardzo, więc pliki _all.csv dla poszczególnych województw powinny cię pojawić w weekend. jak będe miał je wszytkie, zrobię podział na tagi, zrobię shp - podmienię pliki Point - podwieszę osm, bez filtrowania duplikatów.
Na tym etapie postaram się wygenerować dane z kategorii pozostałe, które trzeba będzie ręcznie wklepać.

P.S Potrzebny ochotnik, który by przejrzał dane z województw które są najbardziej opisane w OSM.

szydzio · 2019-10-09T14:45:41.000Z

Cristoffs:

no i pytanie co z nazwami aleja - przy każdym drzewie, jakieś pomysły?

Podtrzymuję swoją propozycję żeby to umieścić w description.
Ewentualnie jeśli jest to sytuacja kiedy drzewa są blisko siebie i formują rząd drzew można pokusić się o połączenie ich i dodanie takiemu way-owi natural=tree_row przy pozostawieniu zmapowania pojedynczych drzew ale z otagowaniem rzędu. Wiki dopuszcza taki schemat.
Jeśli jednak miałaby to być sytuacja taka jak przy alei drzew Ireny Zajączkiewicz Dudkowej, czyli rozproszone obiekty to pozostaje chyba tylko relacja, może coś w rodzaju type=multiobject lub type=cluster?

Cristoffs · 2019-10-12T13:08:28.000Z

szydzio:

Podtrzymuję swoją propozycję żeby to umieścić w description.

Tak zrobiłem w pliku osm

No więc udało mi się zrobić pierwszy plik testowy. Na githubie zrobiłem Pomniki Przyrody w Małopolsce (niestety na razie tylko drzewa) w pliku osm.

https://github.com/openstreetmap-polska/CRFOP/tree/master/malopolskie/osm

Proszę o uwagi, postaram się jeszcze coś dorzucić jak tylko będe miał czas.

maraf24 · 2019-10-12T22:08:09.000Z

szydzio:

Jeśli jednak miałaby to być sytuacja taka jak przy alei drzew Ireny Zajączkiewicz Dudkowej, czyli rozproszone obiekty to pozostaje chyba tylko relacja, może coś w rodzaju type=multiobject lub type=cluster?

Ja bym to robił właśnie przez relację. Przy obszarach da radę multipolygon, ale przy węzłąch trzeba by czegoś innego. Np. type=cluster

Polimerek · 2019-10-19T21:21:27.000Z

Cristoffs:

Polimerek:

Domena publiczna to nigdy nie jest licencja - tylko jest to stwierdzenie faktu, że określone materiały w ogóle nie są objęte ochroną prawno-autorską - w tym przypadku na mocy ustawy. Udzielać licencję prawno-autorską jest sens tylko w stosunku do takich materiałów, do których ktoś ma prawa autorskie.

Czyli wystarczy dodać “Public domain” i już?

No tak, ew z wyjaśnieniem na jakiej podstawie.

Stefan_Paluch · 2020-04-14T14:06:12.000Z

Ja mam propozycję na tag z datą wpisania do CRFOP - żeby nie używać ‘start_date’ - mianowicie coś w rodzaju:

natural_monument:inscription_date=*

Sens tego jest taki: w https://wiki.openstreetmap.org/wiki/Key:heritage używają ‘inscription_date’ jako ‘data wpisu do rejestru’, a ‘natural_monument’ jest z układu innych tagów (tzn: jest ‘natural=water’ i szczegółowo co to za ‘water=lake’)

Tu - z pomnikami by było: ‘denotation=natural_monument’ i konsekwentnie ‘natural_monument’ (szczegółowo co to za monument) z rozwinięciem ‘inscription_date’ - to by było bardzo długie, ale myślę że czytelne i logicznie spójne - i oszczędziłoby ‘start_date’

Technicznie to powinno być właściwie CRFOP:inscription_date= - i może tak by było lepiej, bo byłoby szczegółowo gdzie ten wpis jest wpisany - w jakiej organizacji, a nie że ogólnie ‘natural_monument’

maraf24 · 2020-04-14T20:33:39.000Z

Stefan Paluch:

Ja mam propozycję na tag z datą wpisania do CRFOP - żeby nie używać ‘start_date’ - mianowicie coś w rodzaju:

natural_monument:inscription_date=*

Dziwny tag, ciekawe jakie jest jego pochodzenie? Na niektórych tabliczkach na zabytkach jest rok, może to stąd?
Lepszy byłby “registered_date”.

Stefan_Paluch · 2020-04-15T06:45:38.000Z

maraf24:

Dziwny tag, ciekawe jakie jest jego pochodzenie? Na niektórych tabliczkach na zabytkach jest rok, może to stąd?
Lepszy byłby “registered_date”.

Faktycznie dziwny - ale jest używany przez osm w znaczeniu ‘dodania czegoś do spisu’; mam na myśli że jest tam taki bajzel z tymi tagami, dodawanie nowych jeszcze go powiększy

Tag CRFOP:registered_date byłby bardzo dobry - opisuje czego dotyczy - ale ‘registered_date’ nie jest ‘standardowy’ - nie ma takiego w wiki osm - nie wiadomo dokładnie jak go interpretować

Można by zrobić CRFOP:start_date - to by wyglądało ok - ale start_date ma znaczenie ‘rozpoczęcia, uruchomienia czegoś’, a inscription_date jest bardziej precyzyjny - ma jedno znaczenie - dokładnie to o jakie chodzi

Proponuję wersję CRFOP:inscription_date - będzie nazwa organizacji która ma spis i znany tag informujący o ‘dacie dodania do spisu’

Taki format zostawia też miejsce na dodatkowe katalogi - ktoś zrobi listę ulubionych drzew i doda swój tag ulubione:inscription_date, nie będzie musiał usuwać albo modyfikować istniejącego tagu drzewa

maraf24 · 2020-04-15T08:42:40.000Z

Stefan Paluch:

Proponuję wersję CRFOP:inscription_date - będzie nazwa organizacji która ma spis i znany tag informujący o ‘dacie dodania do spisu’

Jest “znany” w ramach heritage, a nie w ogóle.

Skoro import nie będzie używał kluczy heritage, to użyj tagu samoopisującego. Dla form przyrody byłoby to protected_date, protection_start_date itp.
Jeśli z prefiksem CRFOP, to w formie “crfop:”, tak jak TERYT zapisujemy “teryt:” w tagach.

Edit:

Tag CRFOP:registered_date byłby bardzo dobry - opisuje czego dotyczy - ale ‘registered_date’ nie jest ‘standardowy’ - nie ma takiego w wiki osm - nie wiadomo dokładnie jak go interpretować

W OSM nazwa tagu stanowi całość, przy tagach w formacie XXX:YYY nikt nie robi rozbiórki na część XXX i YYY. Dlatego nie ma znaczenia, że część YYY gdzieś już wystąpiła. Zarówno “CRFOP:inscription_date” i “CRFOP:registered_date” to byłyby nowe, nieznane wcześniej tagi.

grelus · 2020-07-22T15:32:44.000Z

Podbijam temat.
Jak wygląda sytuacja? O ile niedawny import obiektów archeologicznych przyjąłem z mieszanymi uczuciami (większość wskazuje zupełnie nierozpoznawalne w terenie formy) to bardzo liczyłem na import pomników przyrody.

Z wątku wynika, że dane przed importem muszą być ręcznie zweryfikowane. Może udało by się zrobić do tego jakieś narzędzie? Lub podzielić dane np. na powiaty lub gminy i stopniowo je wprowadzać? Jestem chętny do pomocy dla zachodniopomorskiego

Mateusz_Konieczny · 2020-07-22T16:30:59.000Z

większość wskazuje zupełnie nierozpoznawalne w terenie formy

Takie obiekty to są do skasowania.

RicoElectrico · 2020-07-22T16:48:13.000Z

Mateusz Konieczny:

większość wskazuje zupełnie nierozpoznawalne w terenie formy

Takie obiekty to są do skasowania.

Tak jak granice administracyjne?
Wszystko zależy jak traktujemy dane obiekty. Rezerwaty itp. mimo wszystko chronią istniejącą przyrodę.

Mateusz_Konieczny · 2020-07-22T21:05:04.000Z

RicoElectrico:

Mateusz Konieczny:

większość wskazuje zupełnie nierozpoznawalne w terenie formy

Takie obiekty to są do skasowania.

Tak jak granice administracyjne?
Wszystko zależy jak traktujemy dane obiekty. Rezerwaty itp. mimo wszystko chronią istniejącą przyrodę.

Dobre pytanie. Przyznaję że nie mam dobrej odpowiedzi.