Debugger ;-)

TomDalek · 2008-10-29T10:40:59.000Z

Jakub Klawiter:

No to … Komu WRAKa?

Mi mi mi mi!
Na razie chyba bałbym się go używać, ale po prostu muszę go przeczytać!
Zaraz Ci mojego maila zapodam.

Jakub_Klawiter · 2008-10-29T12:20:33.000Z

Po raz kolejny dotkn??em sprawy u s?siadów tym razem dodaj?c troch? fotograficznego funu http://forum.openstreetmap.org/viewtopic.php?pid=10165#p10165 Boj? si?, ?e je?li zrozumiej? w czym na prawd? pojawia si? problem gotowi pomrze? ze ?miechu

P.S. tagów UMP_Level w poland.osm ju? nie ma …

UPDATE
Zabra?em si? za DEBUGI (na razie teoretycznie) i chcia?bym ponowi? pytanie które ju? pad?o.
tagi DEBUG poajwiaj? si? w w?z?ach importowanych z UMP. Z za?o?enia te same w?z?y zawieraj? tag source, przy czym ten sam tag source znajduje si? w drogach tworzonych przez te w?z?y.

Zastanawiam si?, czy z w?z?ów tego source te? nie mo?na by si? pozby?. Informacja o pochodzeniu drogi i tak znajduje si? w , a skoro szeroko zakrojonym celem jest pod?o?enie pod wszystkie drogi GPX’a i w rezultacie usuni?cie informacji o pochodzeniu z UMP czy nie by?oby wygodniej gdyby trzeba by?o r?cznie modyfikowa? tylko drog?, a nie wszystkie w?z?y sk?adaj?ce si? na drog?.

Chodzi o na prawd? du?e ilo?ci danych, które co chwil? pobieramy kompletnie bez sensu, bo i tak nikt nie ogl?da ustawie? poszczególnych w?z?ów tworz?cych drog? wi?c technicznie rzecz bior?c IMO nie narusza to licencji w sposób praktyczny, co najwy?ej od strony technicznej.

$ ./OSM-cleaner.pl poland.osm

Nodes:
     74878 debug
    261792 source: UMP-PL

UPDATE 2
Dosta?em odpowied? u s?siadów … to mnie opad?a szcz?ka

deejay1 · 2008-10-29T19:02:52.000Z

Jakub Klawiter:

Po raz kolejny dotkn??em sprawy u s?siadów tym razem dodaj?c troch? fotograficznego funu http://forum.openstreetmap.org/viewtopic.php?pid=10165#p10165 Boj? si?, ?e je?li zrozumiej? w czym na prawd? pojawia si? problem gotowi pomrze? ze ?miechu

P.S. tagów UMP_Level w poland.osm ju? nie ma …

UPDATE
Zabra?em si? za DEBUGI (na razie teoretycznie) i chcia?bym ponowi? pytanie które ju? pad?o.
tagi DEBUG poajwiaj? si? w w?z?ach importowanych z UMP. Z za?o?enia te same w?z?y zawieraj? tag source, przy czym ten sam tag source znajduje si? w drogach tworzonych przez te w?z?y.

Co prawda ja mam same idiotyczne pomys?y/pytania ostatnio, ale PPNMSP
Mysl? ?e najlepszym rozwi?zaniem by?oby usuni?cie tagów source/debug tylko w przypadku gdy wszystkie drogi przechodz?ce przez dany w?ze? nie maj? tych?e tagów. W sensie
if ( (node:source=“UMP”) && way:source!="UMP) remove_source_tag();

antblant · 2008-10-29T20:45:00.000Z

deejay1:

Mysl? ?e najlepszym rozwi?zaniem by?oby usuni?cie tagów source/debug tylko w przypadku gdy wszystkie drogi przechodz?ce przez dany w?ze? nie maj? tych?e tagów. W sensie
if ( (node:source=“UMP”) && way:source!="UMP) remove_source_tag();

Popieram Nie narazimy si? nikomu licencyjnie, a naprawd? zb?dne tagi source znikn?.

Jakub_Klawiter · 2008-10-29T22:59:04.000Z

OK czyli w skrócie … postaram si? jutro wyklika? znikanie DEBUGów i zastanawia? si? jak bez zb?dnego kombinowania pozby? si? na prawd? niepotrzebnych tagów source, co w tej chwili wydaje si? by? nie trywialne (w sposób w jaki przegl?dam plik osm) ale mo?e nie b?dzie tak ?le jak do tego podej?? na powa?nie.

rhn · 2008-10-30T16:36:49.000Z

Po przeczytaniu w miart? dok?adnie tego w?tku pojawi?y mi si? w g?owie dwie rzeczy:

Wg mnie wszelkie automaty powinny mie? “wy??cznik” przeciwdzia?aj?cy “naprawieniu ?le”. Widz?c te wszystkei podmianki, które wykonuje skrypt, mnogo?? odmian jednej nazwy w obr?bie kraju oraz w obr?bie jednej ulicy, wydaje mi si?, ?e powinna by? opcja wy??czenia skryptu na danej ulicy.
Konkretnie: je?li trzymamy si? bazy GUS lub czego? podobnego, uznaj?c te nazwy za prawd? objawion?, mo?e by? tak, ?e skrypt zmieni “im.” które tam jest na “imienia”, co b?dzie zonkiem, bo nie ma nic lepszego ni? cz?owiek który si? opiekuje danym fragmentem i sprawdzi to dok?adnie.
Podsumowuj?c, g?osuj? za wstawieniem jakiej? flagi “nie rusza?” i flagi “ruszane”, ?eby mo?na by?o szybko sprawdzi? zmiany i poprawia? je. Jako “ruszane” mo?na by uzna? wszystkie edycje dokonane przez bota o znanej nazwie - w JOSM to si? pi?knie wyszukuje. “Nie rusza?” da si? pewnie rozwi?za? tylko tagiem…
NIE USUWA? TAGÓW SOURCE!
One si? autentycznie przydaj?. Historia z ?ycia wzi?ta - dane z UMP maj? niejasn? sytuacj? (prawdopodobnie kopia komercyjnych danych). Dane zaimportowane do OSM. Naniesione sporo poprawek do mapy. W tym momencie dowiedzia?em si?, o tym, ?e mog? by? kopi?. Co zrobi?? Zaznaczy? wszystkie dane z tagiem source: UMP i usun??.

Druga sytuacja: Mam kilka ?ladów pewnej ulicy, rozje?d?aj? si? lekko z tym, co jest na mapie. Nie wiem, czy trzeba poprawia?, bo nie ma ?adnego tagu source. Gdyby by?, móg?bym sprawdzi? i upewni? si?, ?e nie powinienem tego dotyka?. Innymi s?owy, tag source:traces by?by oznaczeniem punktów których nie powinno si? zmienia?.

Jakub_Klawiter · 2008-10-30T21:48:32.000Z

Generalnie ca?? akcj? wyobra?a?em sobie od pocz?tku tak, ?e po pierwsze by? mo?e troch? psuj?c wyeliminujemy ewidentne b??dy, co teraz si? dzieje. Owszem, mo?e si? zda?y?, ?e zmienimy ulic? która wg. GUS, mieszka?ców i ufoludków nazywa si? Ko???taja na Hugona Ko???taja. Ale to IMO mniejszy problem ni? ulica która na mapie nazywa?a by si? “Ko???taja”, a nawet “Kollataja”. My?l?, ?e tu si? wszyscy zgodzimy.

Chodzi?o o to, ?eby ruszy? i znacz?co podnie?? jako?? nazw w OSM:Poland co si? udaje. W znacz?cym stopniu wyeliminowali?my WTF’y z bazy, jest nawet marna szansa, ?e w jutrzejszym poland.osm ich nie b?dzie (!). Oczywi?cie pojawi? si? kolejne je?li nie uda si? przekonwertowa? na UTF-8 plików bazowych z UMP. Tak czy siak, to pierwszy sukces po mniej wi?cej trzech tygodniach zabawy w naprawianie.

Nie wiem jak blisko jeste?my z nazwami napisanymi polskawymi, nie jest ?atwo to sprawdzi?, ale w tej dziedzinie wydaje si?, ?e te? jest co najmniej nie?le.

Etap kolejny to dopieszczenie wszystkeigo tak aby by?o zgodne w 100% z rzeczywisto?ci?, cho? mówi? to troszeczk? wbrew sobie, o czym mo?e za chwil?. W ka?dym razie wyobra?a?em sobie, ?e kiedy przelecimy masówk? tak aby zobaczy? efekty b?dziemy mogli zacz?? bawi? si? w szczegó?y.

Je?li chodzi o zasady to tak na prawd? wszystko jest do ustalenia.
Mnie podobaj? si? nazwy gdzie skróty rozwini?te s? do pe?nej postaci. Jest to czytelniejsze i ?adnie wygl?da, mapa jest elektroniczna nie ma problemu z miejscem. Ale to nie jest moja mapa, je?li wi?kszo?? woli “pl. im. gen. Józefa Bema” nie ma najmniejszego problemu. WRAK mo?e skrótów nie rozwija?, mo?e je ignorowa? czy wreszcie mo?e wszystko co rozwini?te przekszta?ci? na skrót. Wystarczy, ?e podejmiemy tu jak?? decyzj? i nie ma problemu.

Je?li chodzi o stopnie wojskowe itp. coraz bardziej sk?aniam si? ku wersji o której pisa?em niedawno, aby WRAK w nie nie ingerowa?. Pierwotnie by?em przekonany, ?e tak trzeba, ale teraz po czasie sp?dzonym na przegl?daniu s?ownika, bazy GUSu i dyskusji z Krzy?akami chyba zmieniam zdanie.
Ale to te? trzeba przedyskutowa?, poprawi? automaga (zmiana raczej banalna) i ju?. My?l? o wersji kiedy WRAK przepisuje tytu? je?li go znajdzie w istniej?cej nazwie, ale sam do nazwiska doda? go nie potrafi.

Zostaje problem Nazwisko bez imienia. Moim zdaniem takie ulice (a widz? gapi?c si? teraz po kilka godzin dziennie w baz? GUS, ?e problem istnieje na szerok? skal?) to wynik bezmy?lno?ci czy raczej niedouczenia tych którzy nadaj? ulicom nazwy. W ko?cu je?li chodzi o uhonorowanie osoby to powinno si? j? przedstawia? tak aby by?o wiadomo o kogo chodzi. I tu gdyby to zale?a?o ode mnie trzyma?bym si? wersji, ?e zawsze kiedy wiadomo na 100% jak mia? na imi? patron ulicy to imi? powinno si? tam znale??, ale rozumiem ?e tu jestem w mniejszo?ci i si? z tym pogodzi?em. By? mo?e w przysz?o?ci wykorzystamy tu pomys? kolegów z forum niemieckiego, aby w takich przypadkach podawa? pe?ne brzmienie nazwiska patrona ulicy w osobnym tagu.
Nie trzeba ?adnych zmian w automagu, wystarczy zmodyfikowa? s?ownik i problem przestanie istnie?, a w?a?ciwie zmieni si? w problem dok?adnie odwrotny. Ulice z UMP w wi?kszo?ci nie zawieraj? imienia nawet je?li ono si? tam znale?? powinno, pomijaj?c wi?c idealn? sytuacj? kiedy ka?d? ulic? zaopiekuje si? powa?nie jaki? u?ytkownik takie podej?cie spowoduje po prostu odwrócenie proporcji b??dów w bazie.

Na koniec … czy baza GUS to dane w 100% wiarygodne? Nie wiem, ale na razie wydaje si?, ?e jest to najlepsze ?ród?o do jakiego mamy dost?p.

To tyle literatury, teraz dwie sprawy bardziej techniczne.
O flagach my?lalem od samego pocz?tku i nie ma problemu z ich wprowadzeniem, cho? IMO nale?y to opó?nia? tak d?ugo jak si? da, bo by? mo?e uda si? dopracowa? algorytm tak, aby WRAK nie blokowany w ?aden sposób nie pope?nia? b??dów. Flaga blokuj?ca zmiany to pój?cie na ?atwizn? i przy okazji ryzyko, ?e kto? ustawi z za?o?enia z?? nazw? i ukryje j? przed automagiem.

Kasowanie tagów source. By? mo?e ?le zrozumia?em inne dyskusje tu prowadzone, ale zrozumia?em tak, ?e idea?em jest pod?o?enie pod wszystkie ulice w OSM tracków. Po ich pod?o?eniu i dostosowaniu drogi do nich jak zrozumia?em kasujemy tag source, bo nie jest on ju? bezpo?rednio zwi?zany z danymi w bazie. Jest to ulica namalowana wzd?u? tracka czyli w ?aden sposób nie powi?zana z jakimikolwiek zewn?trznymi ?ród?ami. To czy pod spodem jest track czy go nie ma zawsze mo?na sprawdzi? wi?c w?tpliwo?ci te? by? nie powinno. Ale generalnie pomys? z kasowaniem source z w?z?ów (nie dróg!) nie przeszed? wi?c temat jest przynajmniej chwilowo nieaktualny.

TomDalek · 2008-10-31T08:52:08.000Z

Jakub Klawiter:

Oczywi?cie pojawi? si? kolejne je?li nie uda si? przekonwertowa? na UTF-8 plików bazowych z UMP.

http://forum.openstreetmap.org/viewtopic.php?pid=10248#p10248

Jakub Klawiter:

Na koniec … czy baza GUS to dane w 100% wiarygodne? Nie wiem, ale na razie wydaje si?, ?e jest to najlepsze ?ród?o do jakiego mamy dost?p.

Wydaje mi si?, ?e baza GUS ma jedynie ten bajer, ?e ma wszystko w jednym, i nomen omen powinni?my jej u?ywa? wy??cznie do celów statystycznych. Prawdziwie ufaj?c jedynie oficjalnym spisom na stronach Urz?dów danych Miast. np: http://www.sopot.pl/eGmina/pl/cityzone/Urzad_miasta/Sprawy_do_zalatwienia/Wydzial_geodezji/modules/procedures/0014.html?uri=/eGmina/pl/cityzone/Urzad_miasta/Sprawy_do_zalatwienia/Wydzial_geodezji/index.html
Tym bardziej, ?e jak rozumiem spisy z urz?du s? w domenie publicznej. Czy nie?

rhn · 2008-10-31T13:26:11.000Z

Jakub Klawiter:

Kasowanie tagów source. By? mo?e ?le zrozumia?em inne dyskusje tu prowadzone, ale zrozumia?em tak, ?e idea?em jest pod?o?enie pod wszystkie ulice w OSM tracków. Po ich pod?o?eniu i dostosowaniu drogi do nich jak zrozumia?em kasujemy tag source, bo nie jest on ju? bezpo?rednio zwi?zany z danymi w bazie. Jest to ulica namalowana wzd?u? tracka czyli w ?aden sposób nie powi?zana z jakimikolwiek zewn?trznymi ?ród?ami. To czy pod spodem jest track czy go nie ma zawsze mo?na sprawdzi? wi?c w?tpliwo?ci te? by? nie powinno. Ale generalnie pomys? z kasowaniem source z w?z?ów (nie dróg!) nie przeszed? wi?c temat jest przynajmniej chwilowo nieaktualny.

Hm, wychodzi?em z nieco innego za?o?enia - ulice bez tagu source s? traktowane jako niepewne - dodawane przez przypadkowych ludzi, którzy rob? je cz?sto na bazie jednego-dwóch ?ladów albo, co gorsza, z pami?ci.
To samo w sobie nie jest problemem, jesli mamy ?lady w bazie - zawsze mo?na sprawdzi? czy droga ma w nich poparcie.
Wszystko jest pi?knie dopóki za?o?ymy, ?e wszyscy podsy?aj? ?lady. Ja sam tego nie robi? i nie b?d? robi? (lekka paranoja by? mo?e ;)), a chcia?bym jako? zaznaczy?, ?e droga jest stuprocentowo pewna na bazie kilkunastu ?ladów.
No to powiedzia?em co uwa?a?em, a jesli temat nieaktualny to zawsze mo?na mnie zignorowa? :).

TomDalek · 2008-10-31T14:36:02.000Z

Temat tagu source proponuje osobno http://forum.openstreetmap.org/viewtopic.php?id=1795

Jakub_Klawiter · 2008-10-31T19:10:10.000Z

TomDalek:

Jakub Klawiter:

Na koniec … czy baza GUS to dane w 100% wiarygodne? Nie wiem, ale na razie wydaje si?, ?e jest to najlepsze ?ród?o do jakiego mamy dost?p.

Wydaje mi si?, ?e baza GUS ma jedynie ten bajer, ?e ma wszystko w jednym, i nomen omen powinni?my jej u?ywa? wy??cznie do celów statystycznych. Prawdziwie ufaj?c jedynie oficjalnym spisom na stronach Urz?dów danych Miast. np: http://www.sopot.pl/eGmina/pl/cityzone/Urzad_miasta/Sprawy_do_zalatwienia/Wydzial_geodezji/modules/procedures/0014.html?uri=/eGmina/pl/cityzone/Urzad_miasta/Sprawy_do_zalatwienia/Wydzial_geodezji/index.html
Tym bardziej, ?e jak rozumiem spisy z urz?du s? w domenie publicznej. Czy nie?

Hmmm jako? nie chce mi si? wierzy?, ?eby te dane by?y oficjalnie PD, ale mo?e … Inne sprawa, ?e warto tak? list? porówna? jako? z baz? GUS bo mo?e to te same dane. Czy na pewno nie?

Zupe?nie bokiem:
http://www.openstreetmap.org/browse/way/28082246 8-]

deejay1 · 2008-11-01T10:49:26.000Z

Jakub Klawiter:

Zupełnie bokiem:
http://www.openstreetmap.org/browse/way/28082246 8-]

WTF? Ten Pan sobie zaczyna jaja robić…

antblant · 2008-11-01T18:14:30.000Z

TomDalek:

Tym bardziej, ?e jak rozumiem spisy z urz?du s? w domenie publicznej. Czy nie?

A na Pana hasse_ramba_zamba nied?ugo mo?e by? potrzebny osobny w?tek

deejay1 · 2008-11-01T19:10:51.000Z

antblant:

TomDalek:

Tym bardziej, ?e jak rozumiem spisy z urz?du s? w domenie publicznej. Czy nie?

Na dole strony jest ‘‘© 2007 Urz?d Miasta Sopotu’’, wi?c chyba nie bardzo. Ale bardzo chcia?bym si? myli?

W stopkach s? rózne dziwne pierdo?y napisane - generalnie see ustawa o dost?pie do informacji publicznej. Jakby co to mog? na pi?mie pyta?

antblant · 2008-11-01T19:29:32.000Z

Czyli wszystko co jest dost?pne na takiej stronie mo?emy wykorzystywa?? Równie? plany miast?

TomDalek · 2008-11-01T19:40:17.000Z

IANAL. Tu © odnosi si? chyba raczej do samej strony internetowej jej kodu, grafiki, zdj?? itp. Chodzi?o mi o to, ?e urz?d ma prawdziwy spis ulic, bo to urz?d zajmuje si? nazewnictwem ulic na danym obszarze (czy nie?). Wiedz? co maj?, bo sami wymy?lili. To np urz?d wystawia dowody osobiste, które tu tak wcze?niej niektórzy za istotne uznali. A informacja o prawdziwej nazwie ulic jest jak rozumiem (deejay1 zdaje si? tak samo :)) informacj? publiczn?, wiec zwyczajnie nie mo?e zosta? obj?ta prawem autorskim. http://pl.wikipedia.org/wiki/Informacja_publiczna

Jeszcze mniej mam pewno?ci co do bazy GUS, bo ta jest ju? pewnie kompilacj? (opracowaniem) informacji od wielu urz?dów miast. Jednak czy to wszystko razem prawda, nie wiem?

Mo?e rzeczywi?cie warto spyta? w urz?dzie, ?eby potem nie by?o.

EDIT:

antblant:

Czyli wszystko co jest dost?pne na takiej stronie mo?emy wykorzystywa?? Równie? plany miast?

No np. w Sopocie plan miasta ju? ewidentnie jest na tzw. stronach BIP strony urz?du. A te to na pewno Informacja Publiczna.
http://www.sopot.pl/eGmina/pl/cityzone/BIP/SIP/
http://www.bip.gov.pl/
http://pl.wikipedia.org/wiki/Biuletyn_Informacji_Publicznej

Jakub_Klawiter · 2008-11-01T20:23:14.000Z

Pozostaje jeszcze pytanie o raport rozbie?no?ci bazy GUS i spisu z UM. Bo je?li to ten sam spis, to przynajmniej licencja na baz? GUS jest znana i nie jest najtragiczniejsza, cho? oczywi?cie dost?p do zestawu (zestawów) nazw w wersji Public Domain by?by jeszcze lepszy.
Przy czym to, ?e co? jest zamieszczone w BiP nie oznacza razcej, ?e jest pozbawione praw autorskich … mo?e by? powinno, ale nie wierz? ?eby by?o … mapa google si? tam AFAIK czasami pojawia.

deejay1 · 2008-11-02T08:42:42.000Z

Jakub Klawiter:

Pozostaje jeszcze pytanie o raport rozbie?no?ci bazy GUS i spisu z UM. Bo je?li to ten sam spis, to przynajmniej licencja na baz? GUS jest znana i nie jest najtragiczniejsza, cho? oczywi?cie dost?p do zestawu (zestawów) nazw w wersji Public Domain by?by jeszcze lepszy.
Przy czym to, ?e co? jest zamieszczone w BiP nie oznacza razcej, ?e jest pozbawione praw autorskich … mo?e by? powinno, ale nie wierz? ?eby by?o … mapa google si? tam AFAIK czasami pojawia.

Wszelkie mapy itp rzeczy które si? pojawiaj? w BIP s? OKDR - jedynie uchwa?y rady miasta/gminy/whatever mo?na w 99% dowolnie wykorzystywa?.

deejay1 · 2008-11-02T09:53:12.000Z

Jakub Klawiter:

OK czyli w skrócie … postaram si? jutro wyklika? znikanie DEBUGów i zastanawia? si? jak bez zb?dnego kombinowania pozby? si? na prawd? niepotrzebnych tagów source, co w tej chwili wydaje si? by? nie trywialne (w sposób w jaki przegl?dam plik osm) ale mo?e nie b?dzie tak ?le jak do tego podej?? na powa?nie.

Znikni?cie DEBUGów na w?z?ach które nie s? cz??ci? ?cie?ek ma jedn? powa?n? wad? - musz? si? bardziej wpatrywa? w okno JOSM-a by usuwa? te w?z?y

Jakub_Klawiter · 2008-11-02T10:27:13.000Z

deejay1:

Znikni?cie DEBUGów na w?z?ach które nie s? cz??ci? ?cie?ek ma jedn? powa?n? wad? - musz? si? bardziej wpatrywa? w okno JOSM-a by usuwa? te w?z?y

Czyli nie kasowa?? Ja wczoraj skasowa?em kilkaset takich “niczyich” w?z?ów ale trafi?em na ich stada ca?kiem przypadkiem.
Samych debugów znikn??em wczoraj jakie? 5k a ogó?em ponad 20k.