Nodes Müll

stoerti · 2011-07-23T14:10:59.000Z

Hm…guter Hinweis. Da muss ich bei meinen Aufräumfunktionen wohl noch nachbessern.
Manuelle Stichproben waren immer verwaiste Nodes.

TheFive · 2011-07-23T14:52:50.000Z

Marqqs:

Berechtigte Frage.
Woher kommen solche Nodes eigentlich?

Ich hatte so einen Effekt hier in der Gegend und mit dem User (Ersteller der Nodes) gesprochen.

Die Flächenfunktionen von Merkaartor haben das in seinem Fall hinterlassen.

Da die Notes ja immer Changesets haben, kann man die Theorie ja überprüfen (mit Hilfe der User),
die können / sollten / müssen dann ihr Verhalten / Editor ? ändern, damit der Zufluss solcher Nodes gestoppt wird.

stoerti · 2011-07-23T15:10:25.000Z

Ja, also ich ziehe meine erste Aussage zurück, sorry, es sind bedeutend weniger, allerdings gibt es doch eine ganze Reihe solcher verwaisten Nodes.
Das heisst, meine Frage hätte noch Bestand.
Könnte/sollte man die irgendwie mal löschen bzw. ich denke, es macht Sinn, die zu löschen, denn wenn ich nur von Deutschland ausgehe, mit 16GB, davon ca. 70% Nodes, davon mal hochgerechnet 1% Schrott-Nodes dann wären das grob überschlagen gut 120MB im XML Export nur für Deutschland an Müll.
Beim World-File wäre man schon im mehrere GB Bereich.
Selbst, wenn es nur 1GB ist, hätte das meines Erachtens durchaus Sinn.

Auf die Aussage, es gäbe morgen keine Strassen in Brandenburg mehr: Ich selbst würde mich an dieses Vorhaben eher nicht ran trauen wollen

monotar · 2011-07-23T15:50:54.000Z

ich würde erst einmal belastbare Zahlen sehen wollen wieviel Prozent oder Promille es denn wirklich sind. Ich hoffe du hast nicht auch Nodes mit einbezogen die z.B. nur ein note=* besitzen, da ich solche auch schon erstellt habe und es nicht gerne sehen würde, wenn diese automatisiert gelöscht würden.

Nop · 2011-07-23T17:05:17.000Z

Marqqs:

Berechtigte Frage.
Woher kommen solche Nodes eigentlich?

Potlatch2 hat einen Bug, der beim Anlegen eines Weges und anschließendem Undo den ersten Punkt verwaist stehen läßt. Könnte auch zu sowas beitragen.

bye
Nop

EvanE · 2011-07-23T17:56:48.000Z

Nop:

Marqqs:

Woher kommen solche Nodes eigentlich?

Potlatch2 hat einen Bug, der beim Anlegen eines Weges und anschließendem Undo den ersten Punkt verwaist stehen läßt. Könnte auch zu sowas beitragen.

Hallo Nop

Das ist auch das übliche Verhalten auch in JOSM.
Einen Weg mit z.B. 5 neuen Knoten anzulegen, erzeugt 6 Aktionen:

1x Weg anlegen
5x Knoten anlegen

Mit Undo wird jede Aktion einzeln zurück genommen.
Wenn man statt dessen den Weg löscht (eine weitere Aktion), werden in einem Schwung der Weg und die Punkte, die nur in diesem Weg enthalten sind gelöscht.

Zur Frage des Threads: In Bonn sind es sicher weniger als 1 Promille verwaiste Knoten.
Das liegt auch daran, dass es in Bonn üblich ist, verwaiste Knoten nach längerer Zeit (3-12 Monate) einfach zu löschen.

Edbert (EvanE)

wambacher · 2011-07-23T18:47:18.000Z

EvanE:

Das liegt auch daran, dass es in Bonn üblich ist, verwaiste Knoten nach längerer Zeit (3-12 Monate) einfach zu löschen.

Ich lösche auch jederzeit Single-Nodes ohne grosses Nachfragen/Bedauern wenn sie nicht gerade in Massen auftreten - egal wo ich mich gerade “rumtreibe”.

Gruss
Walter

woodpeck · 2011-07-23T20:45:19.000Z

stoerti:

Hm…guter Hinweis. Da muss ich bei meinen Aufräumfunktionen wohl noch nachbessern.
Manuelle Stichproben waren immer verwaiste Nodes.

Darf ich fragen, was das eigentlich genau fuer “Aufraeumfunktionen” und “Importe” sind, die Du da auf OSM loslaesst?

Zur Erinnerung: Von jedem, der irgendwas an der Datenbank automatisch oder halbautomatisch macht, wird erwartet, dass er

alles vorher genau mit der Community diskutiert, auch welche Logik er genau anwenden will usw.
alles genau dokumentiert (Quelltext usw.)
seine Programmlaeufe protokolliert, so dass man sehen kann, was da wann gemacht wurde

Siehe auch:
http://wiki.openstreetmap.org/wiki/Automated_Edits
http://wiki.openstreetmap.org/wiki/Data_working_group/Mechanical_Edit_Policy

Bye
Frederik

HansEN · 2011-07-23T21:39:00.000Z

woodpeck:

stoerti:

Hm…guter Hinweis. Da muss ich bei meinen Aufräumfunktionen wohl noch nachbessern.
Manuelle Stichproben waren immer verwaiste Nodes.

Darf ich fragen, was das eigentlich genau fuer “Aufraeumfunktionen” und “Importe” sind, die Du da auf OSM loslaesst?

Ich denke, stoerti geht es hier nur um das Aufräumen der Daten beim Import in eine lokale Datenbank mit einem Perl-Skript, an dem er arbeitet und über das im Nachbarthread diskutiert wird.

Zum Aufräumen bei OSM selbst schreibt er:

stoerti:

Auf die Aussage, es gäbe morgen keine Strassen in Brandenburg mehr: Ich selbst würde mich an dieses Vorhaben eher nicht ran trauen wollen

Nop · 2011-07-23T23:34:22.000Z

EvanE:

Nop:

Marqqs:

Woher kommen solche Nodes eigentlich?

Potlatch2 hat einen Bug, der beim Anlegen eines Weges und anschließendem Undo den ersten Punkt verwaist stehen läßt. Könnte auch zu sowas beitragen.

Das ist auch das übliche Verhalten auch in JOSM.

Bist Du sicher? In P2 bleibt der Punkt stehen, auch wenn Du dann nochmal Undo drückst. Du kriegst ihn nur durch extras markieren und einzeln löschen weg.

bye
Nop

EvanE · 2011-07-24T00:18:38.000Z

Nop:

Bist Du sicher? In P2 bleibt der Punkt stehen, auch wenn Du dann nochmal Undo drückst. Du kriegst ihn nur durch extras markieren und einzeln löschen weg.

Hallo Nop

Nach deiner Beschreibung ist das ein echter Fehler in Potlatch 2.

In JOSM funktioniert das wie gewollt. Knoten für Knoten wird per Undo zurück genommen. Unerwünschte Reste bleiben keine.
Es besteht natürlich die Möglichkeit eine Knoten bei mehreren Undo’s zu übersehen. Darauf bezog ich mich.

Edbert (EvanE)

MoTaBi · 2011-08-08T12:24:38.000Z

Da werden ja pro Punkt nur einmal die Koord. gespeichert. Ich hau die gerne weg. Bei Häufungen kriegt der Urheber einen Hiebnweis.

Schlimmer finde ich die ständigen Einträge: Edited with Merkator08/15 o.ä.
Wenn da einer Straßen mit anlegt steht der Mist in jedem einzelnen Node.
Das ist meiner Meinung nach 10x mehr Datenmüll.

Xtrem-Lösching!

viw · 2011-08-08T14:31:49.000Z

MoTaBi:

Da werden ja pro Punkt nur einmal die Koord. gespeichert. Ich hau die gerne weg. Bei Häufungen kriegt der Urheber einen Hiebnweis.

Schlimmer finde ich die ständigen Einträge: Edited with Merkator08/15 o.ä.
Wenn da einer Straßen mit anlegt steht der Mist in jedem einzelnen Node.
Das ist meiner Meinung nach 10x mehr Datenmüll.

Xtrem-Lösching!

Das löschen dieser Information erzeugt aber nur neuen Datenmüll. Denn dadurch wird eine neue Version des Objektes erzeugt, welche keine neuen Aussagen enthält.

EvanE · 2011-08-08T15:08:30.000Z

viw:

MoTaBi:

Schlimmer finde ich die ständigen Einträge: Edited with Merkator08/15 o.ä.
Wenn da einer Straßen mit anlegt steht der Mist in jedem einzelnen Node.
Das ist meiner Meinung nach 10x mehr Datenmüll.

Xtrem-Lösching!

Das löschen dieser Information erzeugt aber nur neuen Datenmüll. Denn dadurch wird eine neue Version des Objektes erzeugt, welche keine neuen Aussagen enthält.

Richtig, hilft dem Löscher aber beim ODBL-Ranking

Im Ernst, man sollte diese - an Knoten im Prinzip unnötige - Information nur dann löschen, wenn man auch anderweitig etwas an den Knoten ändert. Beide Änderungen zusammen erzeugen dann nur eine neue Version.

PS:
Die Editoren sollten seit längerem das Verhalten an jedem neuen Objekt ihr created_by dranzuhängen, zugunsten der Angabe im Changeset aufgegeben haben. Wenn man genau hin sieht, waren das in der Regel ältere Versionen der Editoren.

Edbert (EvanE)

MoTaBi · 2011-08-08T15:22:12.000Z

OK, das ist ein gutes Argument.
Müll mit mehr Müll bekämpfen ist nicht so prall.

Tordanik · 2011-08-08T15:54:23.000Z

EvanE:

Die Editoren sollten seit längerem das Verhalten an jedem neuen Objekt ihr created_by dranzuhängen, zugunsten der Angabe im Changeset aufgegeben haben. Wenn man genau hin sieht, waren das in der Regel ältere Versionen der Editoren.

Mehr noch: Die Editoren - zumindest JOSM und Potlatch (2) laut Key:created_by - löschen mittlerweile sogar stillschweigend created_by-Tags von Objekten, die bearbeitet werden. Damit sollte dieses Tag hoffentlich mit der Zeit einfach im Rahmen der alltäglichen Bearbeitungen ausgerottet werden.

Radeln · 2011-08-08T16:07:54.000Z

Hi,

AFAIK findet man mit JOSM die leeren nodes per Klick (Stochern im Heuhaufen) oder über die Prüfroutine, mittels derer man diese auch Reparieren/Löschen kann.

Merkaartor dagegen zeigt diese mit einem eingerahmten Fragezeichen. Diese Option habe ich auf alle von mir genutzten Stile, abgeleitet aus den internen, übertragen.

Allein hier an die 30: http://www.openstreetmap.org/?lat=48.6951939&lon=7.9102534&zoom=12

Gruß

EvanE · 2011-08-08T18:09:45.000Z

Tordanik:

EvanE:

Die Editoren sollten seit längerem das Verhalten an jedem neuen Objekt ihr created_by dranzuhängen, zugunsten der Angabe im Changeset aufgegeben haben. Wenn man genau hin sieht, waren das in der Regel ältere Versionen der Editoren.

Mehr noch: Die Editoren - zumindest JOSM und Potlatch (2) laut Key:created_by - löschen mittlerweile sogar stillschweigend created_by-Tags von Objekten, die bearbeitet werden. Damit sollte dieses Tag hoffentlich mit der Zeit einfach im Rahmen der alltäglichen Bearbeitungen ausgerottet werden.

Das kommt immer darauf an.
Was löschen denn Potlatch und JOSM an created_by Taggs?

Nur die eigenen
Die drei großen Editoren (Potlatch 1/2, JOSM, Mercaartor)
Alle bekannten Editoren
Alle created_by Taggs

Bei einigen Objekten finde ich es durchaus interessant/wichtig zu sehen, dass sie durch Importe oder Skripte angelegt worden sind.
Beispiele: OpenGeoDB, almien coastline, naptan2osm, …

Laut Taginfo sind es 27,7 Mio Punkte mit 543 Werten, 3,8 Mio Wege mit 1158 Werten
Da ist also noch einiges zu tun.

Bei der Umstellung auf ODBL müssen ja viele Objekte geändert werden.
Für diese kann auch das created_by Tagg gleich mit entfernt werden.

Edbert (EvanE)

Radeln · 2011-08-08T22:07:44.000Z

Radeln:

Hi,

AFAIK findet man mit JOSM die leeren nodes per Klick (Stochern im Heuhaufen) oder über die Prüfroutine, mittels derer man diese auch Reparieren/Löschen kann.

Merkaartor dagegen zeigt diese mit einem eingerahmten Fragezeichen. Diese Option habe ich auf alle von mir genutzten Stile, abgeleitet aus den internen, übertragen.

Allein hier an die 30: http://www.openstreetmap.org/?lat=48.6951939&lon=7.9102534&zoom=12

Gruß

Waren 39.

mdk · 2011-08-09T13:53:44.000Z

Hi,

Bei den verweisten Nodes gibt es auch noch eine andere Möglichkeit: Jemand macht gerade einen grösseren Import. Dabei kann es vorkommen, dass zuerst tonnenweise Nodes eingefügt werden und erst in späteren Changesets die dazugehörigen Ways. Ein Indiz dafür den hier diskutierten Fall ist, dass beim ersten Check die Nodes ohne Ways waren, beim späteren Kontrollieren aber mit!

Ich erinnere mich mal an ein Posting, wo einer über sein Leid bei grösseneren Imports geklagt hat. Da gab es ständig Fehler beim Einfügen der Ways wegen fehlender Nodes. Seit her habe ich mir angewöhnt solche Nodes nur zu löschen, wenn sie mindestens ein paar Monate alt sind (grobe Abschätzung über die ID.)

Erschwert bitte nicht solche Importe durch übereifriges Löschen!

Viele Grüsse

mdk