Ukritisk N50 import burde forbys

Feed5 · 2024-03-22T22:40:52.818Z

Jeg driver for det meste rundt Mjøsområdet og gamle Oppland.
Jeg vil anslå at siden N50 ble frisluppet fra kartverket for mange år siden, har rundt 80-90% av arbeidet mitt med å kartlegge skogsområder/jordbruk og vannområder/bekker/elver blitt overskrevet av utdatert og unøyaktig N50 import. Siste offer foreløpig, er det nitidige arbeidet jeg gjorde for et par år siden med å findetaljere vannrisset rundt hele Mjøsa.
Siden jeg har båt der og bruker OSM som kartgrunnlag i kartplotteren tenkte jeg å gjøre en innsats her for å få et bra kart. Nå vil jeg ikke oppdatere kartplotteren lengre fordi OSM nå er av en permanent dårligere kvalitet rundt Mjøsa på grunn av N50 import som har overskrevet mitt mer detaljerte og grundigere arbeid.

N50 import er en KATASTROFE for OSM!
Ikke bare at den gjør kartgrunnlaget dårligere ved å overskrive allerede eksisterende, bedre, nyere data, men det er også blitt nesten plent umulig å redigere importert data fordi alt henger sammen i alt via multipolygons i multipolygons i multipolygons som til sammen dekker halve landet. Noen multipolygons er så store og uhåndterbare at de dekker faktisk opptil flere kommuner
Det er som å dra i en tråd i ullgenseren, man ender til slutt opp med å laste inn en hel landsdel bare for å prøve å oppdatere et skogholdt.

Det gir meg virkelig liten lyst til å fortsette å bidra det lille jeg kan, til OSM.

vibrog · 2024-03-23T07:02:45.276Z

Enig.
Dette er veldig viktig.
OSM skal ikke være en kopi av N50 eller Elveg/NVDB. Da er poenget borte.
Også respektløst å manipulere eksisterende data. De kan være av superbra kvalitet fra en eller flere bidragsytere som er lommekjent og har brukt mye tid på å perfeksjonere datagrunnlaget.
Tror neppe de det gjelder leser dette forumet?

sbre · 2024-03-23T10:00:41.353Z

Nei, den alminnelege lokalkjente les nok ikkje dette forumet.

Men mange av dei store importane i Noreg blir i stor grad gjennomført av ein person, og han kan de nok nå tak i her.

Wulfmorn · 2024-03-23T10:27:50.178Z

Alltid et valg om man skal ha flekkvis kvalitet eller dekning overalt med noe. Men det sies nå at N50-prosjektet er ferdig og ingen flere store importer er planert.

Landcover-relasjonene fra N50 er jeg enig i er slisomme, men det kunne vært enda verre. Landcover bør være lagt opp som relasjoner og størrelsen er ikke så viktig så lenge de er ryddige (og man ikke bruker iD ).

Men, det GÅR å hamre ut N50 til kvalitetsinfo.

harahu · 2024-03-23T13:15:49.659Z

Wulfmorn:

og man ikke bruker iD

Jeg har ikke hatt nevneverdige problemer med å redigere store multipolygons i iD. Syns multipolygons er uproblematiske, og jeg foretrekker dem over overlappende linjer, som jeg syns det er slitsomt å jobbe med.

Har respekt for dem som er uenige, men ikke fremstill det som som om multipolygons er objektivt problematiske. Dette koker ned til en smakssak.

Feed5 · 2024-03-23T15:14:17.275Z

harahu:

Jeg har ikke hatt nevneverdige problemer med å redigere store multipolygons i iD. Syns multipolygons er uproblematiske, og jeg foretrekker dem over overlappende linjer, som jeg syns det er slitsomt å jobbe med.

Har respekt for dem som er uenige, men ikke fremstill det som som om multipolygons er objektivt problematiske. Dette koker ned til en smakssak.

Det er påfallende at store deler (i hvertfall i områder jeg har kjennskap til) av N50-importen av massive skogsområder/jordbruksområder/vårmarker er fullstendig urørt, 5 år etter import.
Dataene var unøyaktige i utgangspunktet, og man skulle dermed tro at kartet ville ha blitt oppdatert litt etter litt av forskjellige personer ettersom årene gikk, men ingenting har skjedd.
Ingen gidder å ta tak i problemet med en ildtang engang. Jeg har prøvd, det er nesten en uoverkommelig stor oppgave å bare oppdatere en skogskant, eller legge til et jorde, eller fjerne et skogholdt.

harahu · 2024-03-23T16:51:03.818Z

Tap av arbeid

Sitater

Feed5:

Jeg begynner å bli rimelig lei av å få flere måneders arbeid utradert av villkårlige og dårlige N50 importeringer.

Feed5:

Det er ekstremt deprimerende å gang på gang forsøke å kartlegge eller oppdatere et område for så å se arbeidet sitt bare fly ut av vinduet og bli erstattet av, i visse områder, over 40 år gamle data.

Feed5:

Jeg vil anslå at siden N50 ble frisluppet fra kartverket for mange år siden, har rundt 80-90% av arbeidet mitt med å kartlegge skogsområder/jordbruk og vannområder/bekker/elver blitt overskrevet av utdatert og unøyaktig N50 import.

Dette har jeg stor sympati med. Det er ikke kjekt å miste arbeid man har gjort. Særlig ikke når det blir erstattet av data man mener er av dårligere kvalitet. Vi skal streve etter å unngå at dette skjer når vi gjør N50-importer og andre importer. Vi skal også strekke oss langt for å rette opp i datatap som resulterer av importer. Det er leit å høre om skaden på Mjøsa-kystllinja, og jeg er glad for at du tar det opp. Håper det blir rettet opp i.

Kvalitet på N50

Sitater

Feed5:

Min mening er at N50 ikke er av tilstrekkelig god nok kvalitet til å kunne erstatte manuelt innsatt kartdata i OSM.

Feed5:

over 40 år gamle data

Feed5:

utdatert og unøyaktig N50 import

Feed5:

N50 import er en KATASTROFE for OSM!

Her mister du meg. N50 slik det så ut for 5 år siden var betydelig dårligere enn det ser ut i dag, men selv da var importene ingen katastrofe for OSM. Importene som ble gjort da og importene som blir gjort i dag er nyttige. De gir oss et grunnlag å jobbe videre fra. Uten N50-importene ville 95 % av Norge fortsatt manglet brukbart landcover.

Min erfaring med de importene jeg har gjort er at N50 er bedre enn eksiterende manuelt arbeid i kanskje 3/4 av tilfellene. Det er utrolig mye gammelt arbeid som er tegnet inn etter satelittbilder med alt for mye (variabelt) offset. Jeg har bare importert siden 2021, riktig nok, og inntrykket mitt er at N50 anno 2021 var betydelig bedre enn bare noen år tidligere.

Annet

vibrog:

OSM skal ikke være en kopi av N50 eller Elveg/NVDB. Da er poenget borte.

Det er det ingen som mener heller. Men man må også forstå at OSM trenger å være “komplett” om det faktisk skal brukes. Vi er ikke nok folk i Norge til å vedlikeholde et fullverdig alternativ til N50 og NVDB om vi ikke forsøker å stå på skuldrene deres. OSM bør være en kopi av både N50 og NVDB der ingen ellers har giddet å gjøre bedre arbeid. Alle andre steder kan gi godt være noe annet.

vibrog:

Også respektløst å manipulere eksisterende data.

Det er bare respektløst om det har skjedd med viten å vilje, og om importør faktisk var av den mening at de slettet data av høyere kvalitet enn det som ble importert. Det er antakelig ikke tilfellet her. Om jeg har forstått det riktig er arbeidet alt i gang med å rette opp i feilene som har blitt gjort. Man bør ikke peke fingre før man vet hva som faktisk har hendt.

Feed5:

Dataene var unøyaktige i utgangspunktet, og man skulle dermed tro at kartet ville ha blitt oppdatert litt etter litt av forskjellige personer ettersom årene gikk, men ingenting har skjedd.

Her er en alternativ forklaring jeg har mer tro på, fra egen erfaring: De fleste er stort sett fornøyd med N50-dataene slik de er, selv med litt unøyaktigheter. Min barndomskommune var N50-importert før jeg ble aktiv i OSM. Jeg har pussa en del på bygda jeg vokste opp i, uten at jeg opplevde det som utfordrende. Men stor sett har jeg latt grove N50-data være i fred, fordi de er gode nok til at jeg heller vil bry meg om større problemer, som å kartlegge all sti.

Om du virkelig brenner for landcover-nøykatiget er det virkelig ikke så vanskelig å fikse på N50. Vi kan godt jobbe litt sammen en dag og dele erfaringer og arbeidsflyt.

hansfn · 2024-03-23T18:14:08.728Z

Interessant å lese hva folk mener. Der jeg har holdt på mest (Møre og Romsdal) har N50-importen vært helt nødvendig siden vi er for få som kartlegger.

harahu:

OSM bør være en kopi av både N50 og NVDB der ingen ellers har giddet å gjøre bedre arbeid.

Skjønner hva du mener, men foretrekker “har hatt tid til” istedenfor “har giddet”

harahu:

De fleste er stort sett fornøyd med N50-dataene slik de er, selv med litt unøyaktigheter.

Både og. Skog og myrområde lar jeg gjerne være (selv om det er unøyaktig), men jeg skulle gjerne oppdatert flere områder hvor det har kommet boliger osv., men jeg syns det har vært vanskelig - i alle fall av og til.

Feed5 · 2024-03-23T19:22:35.944Z

harahu:

Her er en alternativ forklaring jeg har mer tro på, fra egen erfaring: De fleste er stort sett fornøyd med N50-dataene slik de er, selv med litt unøyaktigheter.

Dette er det optimistiske synet på saken, jeg har den pessimistiske.
Og jeg håper inderlig at jeg ikke har rett.

harahu:

Men stor sett har jeg latt grove N50-data være i fred, fordi de er gode nok til at jeg heller vil bry meg om større problemer, som å kartlegge all sti.

Jeg gjør også det samme, jeg prøver så godt jeg kan å bare ignorere problemområdene for å fokusere på det som virkelig teller, veier og informasjon.
Men som hansfn skriver, det begynner å bli mange områder her som har blitt utbygget, men som fortsatt da er dekket av “gammel skog og gamle jorder”. Problemet vil bare utarte seg og jeg håper noen tar opp kampen mot gjengrodde boligområder og lignende.

Jeg vet simpelthen ikke om en workflow som gjør det enkelt å dele opp, sette sammen, fjerne eller legge til deler til disse massive multipolygonene, helst uten å i tillegg bryte sammen alle relasjoner som henger sammen.

Fint å høre folks meninger om emnet.
N50 er selvfølgelig ikke bare drit, men jeg synes måten originaldataene er oppstykket på (en slags oppdeling i lengde og breddegrad så vidt jeg skjønner? og massive områder) gjør det vanskelig å integrere dataene inn i OSM uten å i hvertfall gjøre grundig tilpasningsarbeid.

sbre · 2024-03-23T20:50:07.759Z

Ein arbeidsmetode som ofte virkar godt når ein møter på eit håplaust multipolygon er å byrja med ålaga “delelinjer” i JOSM, til dømes i skogkant langs ein veg, og så alt-x splitta opp polygonet i fleire delar. Nokre av desse delane vil då vera “restar” der anna data eigentleg skulle ha vore, og desse kan så slettast for å teikna inn andre ting.

Blir ofte lettare å gjera det i den rekkjefylgen, sidan fletting etter at ein har teikna inn noko nytt ofte er meir vanskeleg.

Feed5 · 2024-03-27T17:07:23.708Z

Mh, jeg har kikket på flere steder jeg har arbeidet, og her også har jeg mistet så og si alt arbeid som har enten vært skog, elv, vann eller jordbruk, eller tilstøtende data til disse områdene.
Mengder av detaljerte vann, mengder av detaljerte elvekanter og bekker, erstattet av utdatert N50 som slynger seg gjennom “elveleier” som ikke har eksistert på minimum 30 år.
Det er tydeligvis ikke engang gjort et forsøk på å se etter om eksisterende data var av bedre kvalitet enn N50.

Jeg simpelthen orker ikke tanken på å prøve å rydde opp i det lengre. Jeg overlater det til noen andre og kommer mest sannsynlig til å gi opp å bidra til OSM.

Synd i grunn, jeg har drevet med OSM siden hele Gudbrandsdalen så og si bare var E6 og noen småveier som ble dokumentert av folk som lastet opp sine GPS-spor.

BYM_Ola_Juul_Holm · 2024-03-27T17:52:41.815Z

Det er veldig synd at store “automatiske” importeringer gjøres uten skikkelig kvalitetskontroll. Kvalitetskontroll er den kjedelige, men viktige jobben om å faktisk sjekke hvert datapunkt som importeres og ikke bare ta det for god fisk. Vi kan ikke risikere at Good enough fortrenger hardt arbeid som Feed5 og lignende bidragsytere har brukt mye tid på. OSM sin spirit handler jo om å lage et kart i fellesskap av mennesker for mennesker, så her er det åpenbart noen som har vært litt for rask i svingene. Det er supert at folk bruker andre åpne datakilder til å berike OSM, men ta byen min for eksempel, selve hovedstaden Oslo. Der ligger NVDB for det meste langt bak OSM i nøyaktighet og detaljnivå etter min mening.

eisa01 · 2024-03-28T12:29:24.439Z

Feed5:

Jeg simpelthen orker ikke tanken på å prøve å rydde opp i det lengre. Jeg overlater det til noen andre og kommer mest sannsynlig til å gi opp å bidra til OSM.

Det her høres jo ikke bra ut – hva skal til for å rydde opp?

harahu · 2024-03-29T10:24:46.416Z

Jeg tenker at hovedansvaret, og det meste av arbeidsmengden, skal ligge på den som har importert. Det er ikke slik at du skal måtte slite deg ut i prosessen med å få ordnet opp i dette.

Har du funnet ut hvem som har gjort importen(e) i områdene det er snakk om, og er du i dialog med dem? Det er jo rimelig å tro at de kan være behjelpelige og løsningsorienterte.

Om det er utfordrende å finne ut hvem du skal ta kontakt med kan jeg godt hjelpe. Bare ta kontakt via melding.

Feed5 · 2024-03-29T14:46:10.203Z

(wall of text incoming)

Jeg mener å huske at jeg tok opp dette for noen år siden (kanskje i en tråd/chat hos nuug, eller hvor enn kartfolket samlet seg før i tiden), men det ble aldri noe av at noen tok noe ansvar og at noe i det hele tatt ble ordnet opp i, eller at mer hensyn ble tatt i senere importeringer.
Jeg fikk dog forsikringer fra folk om at det skulle importeres data bare én gang, og så kunne brukere fortsette å utvikle kartet som vanlig.
Det har jeg en mistanke om at ikke stemmer helt.

Jeg har inntrykk av at forskjellige folk importerer forskjellige deler av N50 til forskjellige tider, og deler overlapper hverandre så hvis man som vanlig bruker tror at importen av et område er ferdig så man kan fortsette å raffinere kartet, blir det plutselig tilbakestilt til N50 av en annen importør som kanskje importerer en annen del av N50-dataene eller har lastet ned en oppdatert utgave av N50 og ser at “her er ting forandret, da må vi reimportere her”.
Jeg har justert mengder av N50 jordbruk/skog/myr/vann-import rundt byer og byggefelter for å gjøre kartet mer detaljert og oppdatert, bare for å få det fjernet/tilbakestilt ved reimport av N50 ved en senere anledning.

Jeg mistenker også at dette ikke gjelder bare N50 data.
Gjennom årene har jeg justert/detaljert visse veistrekninger opptil 3-4 ganger før jeg nå har innsett at de blir mest sannsynlig tilbakestilt til en eller annen elveg/vbase import fra forskjellige brukere.
Jeg skjønte det ikke da, for det går såpass lang tid mellom jeg kikker på ting at jeg glemmer slikt, men jeg har av og til stusset på at folk liksom skal med overlegg ha simplifisert veien jeg en gang kartla og/eller detaljerte fint.
Mens jeg skriver dette husker jeg faktisk at jeg en gang vurderte arbeidmetoden min og tenkte “er jeg for ekstrem i detaljeringen av kartet? det virker som om folk ikke liker mine fine buer i veiene og pinlige pirking på at vegsenterlinjen faktisk er midt i veien, for her har plutselig noen forandret ting og tatt bort bedtydelige deler av nodene som gjør opp en linje”

Man må ha i bakhodet at dette gjelder ikke bare meg og mitt arbeid i mitt begrensede geografiske område.
Dette påvirker alle brukere i landet som noensinne har satt seg ned med iD eller JOSM eller lignende, kartlagt et skogholdt der, et vann her, et byggefelt der, et turområde her, en bydel her, en øy på vestlandet der osv osv.
Dette er et systematisk problem.

Spesielt etter at Norkart var så elskverdige at de ga oss tilgang til høystandard orthophoto som dermed gir oss muligheten til å lage et skikkelig flott og nøyaktig kart, er sannsynligheten for at brukerkartlegging via iD eller JOSM eller lignende innehar en høyere standard enn N50 og i mange tilfeller også elveg/vbase.

Alle som leser dette og har bidratt til diverse i kartet, dere kan kikke på området dere har bidratt til, og se om det har blitt overkjørt av import eller ikke.
Har standarden blitt bedre eller dårligere?
Jeg tør ikke tenke på de stakkars Entur folkene, som i flere år nå har gjort et fantastisk arbeid i å heve standarden på kartet, spesielt når det gjelder transport-infrastruktur.
Har deres arbeid blitt overkjørt av villkårlig import mon tro?

Wulfmorn · 2024-04-02T08:11:39.799Z

Feed5:

Mens jeg skriver dette husker jeg faktisk at jeg en gang vurderte arbeidmetoden min og tenkte “er jeg for ekstrem i detaljeringen av kartet? det virker som om folk ikke liker mine fine buer i veiene og pinlige pirking på at vegsenterlinjen faktisk er midt i veien, for her har plutselig noen forandret ting og tatt bort bedtydelige deler av nodene som gjør opp en linje”

Aldri tvil på det. Det skal være nydelige buer og de skal være midt i veien. Her er jeg 100% på lag med deg.

Siden det er jeg som er Entur-folket nå i disse dager så må jeg si at jeg ikke opplever noe ødelegging. Det har vært litt småtteri på import av sykkelveier som ikke er koblet der de krysser andre veier eller plattformer men alt som oftest er volum av data mer nyttig enn ekstremt nøyaktig data - selv om jeg personlig mener at ekstremt nøyaktig data er gøyere enn volumdata

Min løsning på å beskytte fra N50-importering når jeg tok Eidskog var å manuelt tegne hele landcover og veinett fra flyfoto. Da er det ikke behov for import og ingen vil gidde sitte med det heller. Men samme problem oppstår. Jeg så over det nylig og det er masse bonne-folk som har endret formen på jordene sine så jeg må sikkert gjøre masse updates.

harahu · 2024-04-02T20:11:18.043Z

Feed5:

Jeg mener å huske at jeg tok opp dette for noen år siden (kanskje i en tråd/chat hos nuug, eller hvor enn kartfolket samlet seg før i tiden), men det ble aldri noe av at noen tok noe ansvar og at noe i det hele tatt ble ordnet opp i, eller at mer hensyn ble tatt i senere importeringer.

Det du beskriver her er i praksis det samme du gjør nå; å ta opp problemet med fellesskapet. Det burde i utgangspunktet være et eskaleringssteg man tar etter at man opplever at en eller flere konkrete bruker ikke er behjelpelige med å rydde opp i importproblemer. Det er ikke nødvendigvis så rart at ingen tar ansvar når du tar kontakt i et forum som vedkommende ikke nødvendigvis leser.

Det jeg spør om er: Har du undersøkt hvilken konkret bruker som er ansvarlig for importen(e) du nå har problemer med? Har du kontaktet vedkommende og spurt om de kan hjelpe deg å rydde opp? Har du forhørt deg med dem angående hvilke vurderinger de har gjort underveis i importen? Har vedkommende eventuelt vært vanskelige og/eller ubehjelpelige? Om du har konkrete eksempler på objekter som har blitt endret til det verre, da er det også lett å finne ut hvem som har gjort endringen og deretter kontakte dem.

Feed5:

Jeg fikk dog forsikringer fra folk om at det skulle importeres data bare én gang, og så kunne brukere fortsette å utvikle kartet som vanlig.
Det har jeg en mistanke om at ikke stemmer helt.

Det stemmer delvis. Det har vært en del ufullstendige og/eller rotete importer gjort i noen kommuner, særlig i innlandet. Meg bekjent har det vært gjort en innsats for å rydde opp i noen av disse importene ved å importere på nytt. Du kan se hvilke kommuner som vi regner som ferdig importert her: OSM-no-progress. De kommunene som ikke er merket som ferdige her står i utgangspunktet i fare for å bli re-importert, selv om noe importarbeid alt er gjort.

Kommuner som alt er ferdige kan forsåvidt også oppdateres med nye N50-data, men da vil det i enda større grad være snakk om en manuell prosess der det er mindre potensiale for at feil gjøres. Dvs. om noe erstattes med N50-data er dette antakelig gjort med viten og vilje fordi importøren opplever N50 som “bedre” enn det som er der i OSM fra før.

Feed5:

Dette er et systematisk problem.

Det er ikke slått fast, slik jeg ser det. Alt vi vet er at noe arbeid du har gjort er overskrevet av importer. Vi vet ikke hvor stor del av arbeidet ditt det er snakk om. Du gir uttrykk for at andelen er stor, men det sier oss ikke så mye. Vi vet heller ikke hvilke vurderinger som har ligget til grunn for overskrivingene. En del skyldes sikkert feilvurderinger, men ikke nødvendigvis alt.

Jeg foreslår som sagt at du prater med de konkrete importørene og forsøker å finne ut hva som som lå bak valgene de tok. Om du ønsker å underbygge at dette er et systematisk problem er det fint om du også forsøker å tallfeste hvor stort problemet er på en eller annen måte.

Enn så lenge syns jeg denne diskusjonen er alt for vag til at felleskapet har grunnlag til å legge noen andre føringer enn vi har i dag. Det er allerede policyen vår at importer ikke skal ødelegge eksisterende data av bedre kvalitet. Om spesifikke importører bryter denne regelen er det i første omgang en sak mellom de og deg.

hansfn · 2024-04-03T08:38:45.018Z

harahu:

Enn så lenge syns jeg denne diskusjonen er alt for vag til at felleskapet har grunnlag til å legge noen andre føringer enn vi har i dag. […]

Dette er jeg enig i men:

harahu:

Om spesifikke importører bryter denne regelen er det i første omgang en sak mellom de og deg.

… er jeg litt usikker på om jeg er enig i. Hvis jeg hadde havnet i en slik situasjon, så hadde jeg ønsket at fellesskapet - f.eks. erfarne brukere i dette forum - hjalp til. Jeg er også usikker på om slike regelbrudd burde behandles privat. Uansett, dette (konflikthåndtering) står det sikkert noe om et sted som jeg ikke har lest

harahu · 2024-04-03T14:01:07.509Z

Jeg ønsker ikke å avvise at fellesskapet skal ha noe som helst rolle i konfliktløsning som må til i forbindelse med importer. Det skal selvsagt være greit å kontakte fellesskapet om man føler seg dårlig behandlet og ikke lyttet til.

Alt jeg sier er at det første steget alltid bør være å kontakte personen det gjelder og diskutere med dem. Så kan man heller ta det opp i plenum om direkte dialog ikke fører til en minnelig løsning.

eisa01 · 2024-04-03T14:27:55.355Z

Worst case kan man kontakte for slike situasjoner, men det er best å prøve å løse det først: Data Working Group - OpenStreetMap Wiki