Onbevredigend gevoel illegale import

Bomenimport Leystad
https://forum.openstreetmap.org/viewtopic.php?id=57550

Een goed voorbeeld van hoe het misgaat in lijn met het openingsbericht van PeeWee.
Een mapper biecht een illegale import op. De reactie is lauw en het gaat meteen over het inhoudelijk verbeteren van de data. Geen terugdraaiactie. Twee jaar later neemt KiaaTiX het over. En die data staat er nog steeds in.

Illegale import → gemeenschap geeft weinig weerstand, vooral inhoudelijke reactie → andere mapper gaat ook illegale import doen → geen terugdraaiactie → …

Voorbeeldboom Lelystad met geschiedenis:
https://www.openstreetmap.org/node/3096327773/history

Er is dus wel een ingreep van de DWG geweest maar in feite slechts een inhoudelijke.
Aan de hand van de ref-tags kunnen de bomen gemakkelijk opgespoord en massaal worden verwijderd.
Ik verwacht daar weinig conflicten.

De reverter plugin voor JOSM heb ik inmiddels geïnstalleerd.
Hoe je het beste bij elkaar horende data in JOSM voor reverting kunt verzamelen weet ik nog niet en leer ik graag van anderen.

Volg de discussies over mij en mijn woonplaats niet zo, maar aangezien het na al die tijd (nog steeds) zoveel teweeg brengt ben ik best bereid toch even te reageren.

Uiteindelijk komt de vraag wat nu te doen denk ik neer op een principe kwestie die bij mij de volgende vraag oproept. In hoeverre mag het gemeenschappelijke doel van het maken van een goede kaart ondergeschikt zijn aan de wil om gerechtigheid?

Het is goed dat verschillende frustraties geuit worden. Toch zou ik het vrij kwalijk vinden als een bepaalde gerechtigheid het einddoel geworden is, en ik maak me hier dan ook een beetje zorgen over.

@AndriesWijma
Terugdraaien met de reverter plugin gaat niet meer, daar is het te laat voor. Vertrouw me daar maar op want ik zou zo’n import ook niet meer terug kunnen draaien op die manier (wel op andere manieren). Die plugin is vooral bedoelt voor het terugdraaien van individuele wijzigingsets. De Tilburg import beslaat meer dan 500 die wijzigingsets die grotendeels 2 jaar geleden gemaakt zijn. Ook de Lelystad bomen kun je daardoor niet meer op die manier terugdraaien (5 jaar oud). Het terugdraaien van bijvoorbeeld de Tilburg import is sowieso moeilijk en niet iets wat je zonder ervaring veel mee kan beginnen.

In wezen zijn erin OSM 2 type imports:

Import die data toevoegen die er nog niet was. Denk dan aan bomen, lantaarnpalen, zendmasten, Tilburg tuinen, en het oorspronkelijke AND wegennet. Deze zijn relatief makkelijk terug te draaien. Je hoeft immers geen data terug in de plaats te zetten.

Dan zijn er ook imports die als doel hebben data vervangen. Bijvoorbeeld de Tilburg import voor het groen die de 12 jaar oude 3dShapes vervangt. Eigenlijk hetzelfde als de BAG gedaan heeft met gebouwen destijds. Hier is terugdraaien een stuk lastiger, maar dit type komt gelukkig minder voor.

Ik ben het zeker niet eens dat iedere import goed is. Bijvoorbeeld de zendmasten die er ooit ingezet zijn jaren geleden. Het is nog niet eens heel lang geleden en nu merk je al dat de data verouderd is. Er zijn daar nooit plannen gemaakt om het in de toekomst te onderhouden. Dat is met het willen importeren in OpenStreetMap ook mijn grootste bezwaar. Hoe is die data over 15 jaar.

Zo heb ik er destijds voor gekozen om de bomen in Lelystad te updaten en niet te verwijderen. Maar ze dan wel te voorzien van ref tags die aangeven uit welke dataset ze komen en uit welk jaar die data is. Over 10 jaar zullen die bomen verouderd zijn maar dan kan je dan makkelijk zien welke data geïmporteerd is en hoe oud die data is. Vervolgens kun je dan eenvoudig kiezen om ze te updaten of te verwijderen. Dit is een ander verhaal dan bijvoorbeeld Rotterdam waar alle bomen handmatig in kaart gebracht zijn. Als dat allemaal verouderd is dan heb je niet die automatische opties meer en is het alleen maar een grote berg handwerk wat overblijft.

Ik dwaal misschien een beetje af maar toekomstbestendigheid is wel altijd een belangrijk punt in de Tilburg import geweest. Het is redelijk eenvoudig om het up to date te houden met de BGT (want dat is het in feite). Net zoals de BAG dat is. In de BGT hebben alle objecten een wijzigingsdatum en dus ik kan altijd zien wat en waar het veranderd is.

Het terugdraaien van de Tilburg import houdt in dat je niet alleen teruggaat naar de oorspronkelijke 3dShapes vlakken, meeste uit 2008. Tegelijkertijd verlies je ook de opgezette mogelijkheid om landuse data in OSM periodiek te updaten (dat zou dan zeker wel in samenspraak met de gemeenschap moeten gaan natuurlijk).

Zullen we het dan meteen ook even over de ‘Spoor landuse’ changesets hebben, en/of de BGT-imports in Geldermalsen en Meteren?
Het resultaat ziet er fraai uit, maar: ongedocumenteerd voor zover ik weet.

Ik kan niet anders dan hier luidop zeggen dat ik dit soort teksten met de rest van je bericht als manipulatief ervaar, zodat anderen hopelijk ook doorhebben wat je hier (waarschijnlijk onbewust) doet. Je bevestigt juist wederom de punten van zorg van PeeWee en van mij.

I.p.v. reverten zal het wel meer een systematisch verwijderen van data worden.

Persoonlijk vind ik dat de BGT-imports van KiaaTiX het kaartbeeld enorm verbeteren. Als er inconsistenties ontstaan, zoals een weg die niet dwars door een geïmporteerd grasveld loopt, komt dat bijna altijd doordat de weg verkeerd is, niet het gras.

Het enige probleem is het ontbreken van documentatie (waardoor het een illegale import wordt). Kunnen we de oplossing dan niet beter daarin zoeken, in plaats van in het terugdraaien? Als KiaaTiX een Wikipagina maakt over deze imports met de vertaling van BGT-‘tags’ naar OSM-tags, dan is het voor iedereen duidelijk hoe er wordt geïmporteerd en dan kan daar commentaar op geleverd worden.

Zo kunnen we ook de discussie wat concreter maken. Het gaat dan over de wat wel en niet importeren en hoe iets getagd moet worden, in plaats van veel te algemene discussie over wat een goede kaart maakt en of imports goed zijn.

Heb even een lijst gemaakt met alle plekken waar ik bezig geweest ben:

BGT sporen:
Ondergrondse metro sporen Amsterdam
Ondergrondse metro sporen Rotterdam
Een aantal tramsporen in Amsterdam
Uithoflijn in Utrecht

Kleine stukjes BGT als detaillering:
Binnenstad Eindhoven
Stationsplein Eindhoven
Stationsplein Oost in Utrecht
Stationsplein Jaarbeurszijde in Utrecht
Stationsplein in Rotterdam
Het plein rondom de Sint Laurenskerk in Rotterdam

Spoor landuse in brabant:
Breda - Belgische grens
Breda - Tilburg
Tilburg - Eindhoven
Tilburg - Den Bosch
Eindhoven - Den Bosch
Eindhoven - Maarheze

Geldermalsen/Meteren
Een gebied waar ik geregeld kom en als test gebied gediend heeft. De bedoeling daar was vooral om te kijken wat allemaal mogelijk zou kunnen zijn. Meteren is een volledige import waar de wegen automatisch in het midden van de rijbaan zijn gelegd. Geldermalsen is dan weer enkel zichtbare landuse.

Tilburg
Het bekende verhaal.

De BGT is inderdaad zo goed als ongedocumenteerd. Er is hier geen wiki pagina over, maar heb wel de gebruikte lijst gepubliceerd van de tags in die imports:
https://github.com/bdxd111/BGT-OpenStreetMap-tags/blob/master/bgt.mapcss

Het is heel simpel:

  • Optie drie bestaat niet? Dat zijn dus heel veel onreglementaire imports, meer dan ik vermoedde.

Geldermalsen en Meteren waren een testgebied? Testen doet men in een eigen databasekopie, heb ik geleerd. En ik heb begrepen dat dat met JOSM goed kan.

Dit weekeinde wil ik een eerste illegale importproject terugdraaien (lees: data verwijderen): de bomen-import in Lelystad.

Met een Overpass Query in JOSM van bijna geheel Lelystad met ref:bgt:voorkomen=boom haal ik 46.623 nodes binnen.
Daarvan zijn er 46.608 als laatste gewijzigd door KiaaTiX_BGT en slechts 25 door anderen.
Al deze nodes kan ik verwijderen in 5 verzoeken. Of ik kies ervoor Lelystad in delen aan te pakken.
Ik controleer ook de randen van de stad.

Als iemand een betere verwijdermethode of aandachtspunten heeft dan lees ik het graag.

Je blijft me verbazen. Je weet dus dat er op het forum over je (doen en laten) geschreven wordt maar het interesseert je blijkbaar niets. Dat zou je niet verwachten van iemand die in een community samenwerkt met anderen om er iets moois van te maken.

Als je dit serieus meent dan heb je er niet veel van begrepen.

Dat je doen en met name je laten mij en een aantal anderen frustreert is duidelijk. Het lijkt erop dat je het liefst de dingen op jouw manier doet en liever niet met anderen wil overleggen. Dat is een slechte eigenschap in een community waar samenwerken voorwaarde is. En zo te lezen lijk je te denken dat het doel de middelen heiligt. Oftewel… als jij denkt dat je een verbetering in OSM aanbrengt dan mag dat en hoef je geen rekening te houden met de import guidelines of gevoelens in de community. En het zou heel goed kunnen dat een groot deel van je importacties een betere, actuelere OSM oplevert maar het is niet netjes dat je de community daar niet in meeneemt. Die mag dat later bij toeval constateren en wordt dan geforceerd actie te ondernemen (tuintjes Tilburg) . En fouten maken in OSM mag. Dat is geen probleem zolang je er maar van leert. Maar geen verantwoordelijkheid nemen hiervoor dat neem ik je wel kwalijk. Nu mag de community de tuinjes gaan opruimen. Dat je je dat laat gebeuren en je er niet voor lijkt te schamen dat verbaast me enorm.

In dit draadje uit ik mijn zorgen over de community en hoe die om wil gaan met deze en toekomstige imports. Er lijkt enorme verdeeldheid al durft nog niemand zich uit te spreken om de importguidelines maar te schrappen. Of een voorstel te willen maken om die aan te passen. Maar ook brede steun om in het vervolg importguidels te hanteren merk ik niet. Dat baart mij zorgen. Want dit voorspelt een onzekere toekomst… krijgen we meer illegale import en wat gaat er dan gebeuren? Het zou ook heel goed kunnen dat een groot deel van de community nog steeds vindt dat de importguidlines gevolgd moet worden maar dat ze de vele draadjes over dit onderwerp zat zijn. En ook dat begrijp ik want veel energie geeft het niet. Dus wellicht maak ik me onterecht zorgen. En persoonlijk interesseren mij die tuintjes niet veel en dus zou je kunnen denken… waar maakt ie zich druk over? Nou… over de community in NL. Daarin is gerechtigheid niet het einddoel maar een community waarin iedereen aanspreekbaar is op zijn acties (of het ontbreken daarvan) en daar verantwoordelijkheid voor neemt.

Kortom : Dit heeft met gerechtigheid helemaal niets te maken maar gaat over houding en gedrag in een community.

Inderdaad. Volkomen mee eens!

Ik voel dat er voldoende consensus is de imports terug te draaien, fout of niet.
Helaas zal dit handmatig moeten geschieden.
Gezien de blijkbare onverschilligheid van de originele importeerder ga ik ervan uit dat dit niet tot een edit-war gaat leiden en KiaaTiX deze herstellingen deze keer wel accepteert.

Als je van plan bent te gaan verwijderen wil ik als suggestie meegeven dat (en hoe je het gaat doen) in een apart draadje een aantal dagen van te voren aan te kondigen. Zo kunnen anderen waarbij wellicht helpen of suggesties aandragen om het beter te doen.

PeeWee: helemaal mee eens.
Weet nog geen aanpak; want het is, zeker als het om landuse gaat niet alleen een kwestie van verwijderen (wat met overpass goed zou gaan), maar ook van het terugzetten van originele landuse. En reverten gaan niet meer.

En om nou te zeggen dat ik zin heb om twee-/drievoudig geneste multipolygonen met landuse=grass (om maar een voorbeeld te noemen) om te zetten naar een enkele polygoon…
Moet ik alleen de kerbs die een highway kruisen verwijderen of alle geïmporteerde kerbs? Voorlopig nog veel vragen.

Lees even de importguidelines dan zul je zien dat ontbrekende documentatie niet het enig probleem is. Het kan natuurlijk ook zijn dat je vindt dat we ons niet aan de guidelines hoeven te houden. In dat geval zou het wel goed zijn dat te melden of nog beter…een voorstel te doen hoe die guidelines anders zouden moeten.

Dat gaat helaas niet altijd werken. Bij de tuintjes import hebben we gezien dat een BGT “onbegroeid tereindeel” lang niet altijd een tuin is. Dus 1 op 1 BGT met OSM mappen gaat niet altijd werken.

En verder moet je niet denken dat de BGT altijd een juiste weergave van de werkelijkheid is. Niet alleen qua actualiteit (loopt soms jaren achter) maar ook gewoon fout. Een voetpad (G7) dat als fietspad in de BGT staat is een voorbeeld maar er zijn er helaas veel meer te vinden. Het gaat m.i. nog wel een flink aantal jaren duren voordat de BGT de volwassenheid heeft zoals bv de BAG die nu heeft. En gezien de complexiteit en de hoeveelheid aan data in de BGT vraag ik mij af of het ooit gaat komen. Desalnietemin ben ik wel blij dat we (maar mn Allroads) het voor elkaar hebben gekregen dat we de BGT mogen gebuiken. Een mapper die lokaal bekend is en weet dat de BGT klopt kan dat gebruiken om OSM te verbeteren door bv BGT als ondergrond in JOSM te gebruiken en elementen uit te lijnen of anderszins aan te passen of toe te voegen.

De situatie in Geldermalsen heb ik globaal bekeken. Dat vergt een specifieker aanpak. Daar ga ik waarschijnlijk vanaf morgen mee aan de slag nadat ik Lelystad heb gedaan.

Ook in Geldermalsen allemaal ref::=*-tags die theoretisch vast van pas kunnen komen, doch helemaal niet in lijn zijn met OSM-tagging en nooit besproken, net als uiteraard de gehele import.

Wat te denken van een tag als ref:bgt:id=G0236.4a208dc6287a45ed8e2a33a2f67a63ca.
Of een multipolygoon waar bebouwing is uitgesneden, tegen OSM-conventies in, en wat in feite een lege relatie is wegens ontbreken van een geldige primaire tag: https://www.openstreetmap.org/relation/9764902.

Maar goed, het puinruimen staat op het punt van beginnen.

Helemaal mee eens. Ik gebruik de belijning en info van de BGT heel veel maar altijd zoveel mogelijk in combinatie met eigen lokale kennis en waarneming vanaf de fiets en door het maken van foto’s en bestuderen van beschikbare satelliet- en luchtfoto’s van verschillende momenten.
Vooral de belijning vande BGT is erg nuttig en meestal zeer nauwkeurig. Af en toe is het verouderd of sluit het niet aan bij OSM-conventies en maak ik dus andere keuzes en afwegingen.

Niet iedereen hoeft zo nauwgezet te werken als ik maar domweg data dumpen omdat het kan en omdat de dumper het zelf een goed idee vindt is het andere uiterste. Het geeft ook schijnnauwkeurigheid wat ten koste gaat van het ‘veldwerk’ van mappers die wel veel tijd en energie steken in het betrouwbaar weergeven van de werkelijkheid, zich verdiepen in OSM-conventies, altijd bereikbaar zijn voor overleg en rekening houden met anderen.

Andries, ik heb het stukje Geldermalsen (Lingedonk) waar ik importeur al op had aangesproken omgezet naar een handmatige registratie (en meteen onjuiste (3d shapes) en ontbrekende objecten en vlakken gekarteerd).

Problemen ermee als ik in T’burg alle geïmporteerde kerbs, die deels dwars door een highway lopen, verwijder?

Weet je zeker dat je zo geen bomen weggooid die al voor de diverse imports bestonden? En zijn de bomen inmiddels niet opgenomen in ways die hierdoor verstoord raken?

Ik zou in dit geval niet te hard van stapel lopen, en iets meer tijd nemen om reacties van andere mappers af te wachten. De bomen staan er al jaren, een weekje of wat extra kan er ook nog wel bij. Als je de richtlijnen echt streng opvat, draait het verwijderen van zulke aantallen punten ook weer uit op een mechanical edit.

In principe niet, als je ervoor zorgt dat er geen schade aan andere objecten ontstaat. Ik wacht een concreter voorstel over je aanpak af.