Nodes Müll

stoerti · 2011-07-23T13:33:00.000Z

Es gibt einen nicht zu unterschätzenden Teil von Nodes (grob geschätzt 25-30%), die keinerlei Abhängigkeiten an Attribute, an Wege oder Relationen haben.
Gab es dazu irgendwann schonmal eine Diskussion, ob man diese verwaisten Nodes nicht mal löschen kann?
Letztlich hantieren wir mit einem Haufen nutzloser Daten

Marqqs · 2011-07-23T13:40:23.000Z

Berechtigte Frage.
Woher kommen solche Nodes eigentlich?

monotar · 2011-07-23T13:45:50.000Z

mich würde mal interessieren wie du darauf kommst, es seien 25-30%. Aus meiner Erfahrung würde ich sagen, dass es selbst in grausam gemappten Gebieten weniger als 1% sind und wenn mir einer auffällt wird er auch gelöscht. Oder wo sind solche Nodeschleudern aktiv?

stoerti · 2011-07-23T13:49:14.000Z

Aktuell arbeite ich auf Brandenburg.
Mein Import wirft ein paar Tags raus, zum Beispiel created_by - bei vielen Nodes ist das das einzige Attribut.

Ich könnte mal eine detaillierte Auswertung machen; nutzt aber nur dann was, wenn man wirklich auf das löschen dieser Müll-Tags hinarbeitet.

Ich räume gerade den Import auf und ich habe mal wahllos in die Nodes gegriffen, die in meinem Import gelöscht werden:

26739102
26739105
26739106
26739107
26739111
26739112
26739113
26739114
26739115
26739118
26739119
26739120
26739121
26739122
26739123
26739124
26739125
26739126
26739127
26739128
26739129
26739130
26739131
26739133
26739135
26739642
26739643
26739644

Das wären einige Nodes, die nach meinem Import meines Erachtens verwaist sind

derjürgen · 2011-07-23T13:50:16.000Z

Das sind also die Nodes , die, wenn man sie anklickt garkeine Daten erhalten?

Glaub die habe ich hier und da auch schon gelöscht.

Jürgen

edwin-ldbg · 2011-07-23T13:51:39.000Z

Woher kommen solche Nodes eigentlich

Verschieben bei der Karte während des Einzeichnens wo unbeabsichtigt hier und da mal ein Punkt eingetragen wird, wo man zum klicken auf der Karte geschoben hat.

Dann kommen diese Fehler auch durch fehlerhafte oder abgebrochene Uploads.

monotar · 2011-07-23T13:57:30.000Z

stoerti:

Ich räume gerade den Import auf und ich habe mal wahllos in die Nodes gegriffen, die in meinem Import gelöscht werden:

26739105

http://www.openstreetmap.org/browse/node/26739105 ist doch Teil eines Weges, warum also löschen?

kellerma · 2011-07-23T14:09:33.000Z

Hi,

ich hab’ auch mal 3 nodes aus Deiner Liste herausgenommen, alle 3 gehören zu Wegen.
Vielleicht solltest Du mal Dein Programm überprüfen, bevor es morgen in Brandenburg keine Straßen mehr gibt

Ciao,
Frank

stoerti · 2011-07-23T14:10:59.000Z

Hm…guter Hinweis. Da muss ich bei meinen Aufräumfunktionen wohl noch nachbessern.
Manuelle Stichproben waren immer verwaiste Nodes.

TheFive · 2011-07-23T14:52:50.000Z

Marqqs:

Berechtigte Frage.
Woher kommen solche Nodes eigentlich?

Ich hatte so einen Effekt hier in der Gegend und mit dem User (Ersteller der Nodes) gesprochen.

Die Flächenfunktionen von Merkaartor haben das in seinem Fall hinterlassen.

Da die Notes ja immer Changesets haben, kann man die Theorie ja überprüfen (mit Hilfe der User),
die können / sollten / müssen dann ihr Verhalten / Editor ? ändern, damit der Zufluss solcher Nodes gestoppt wird.

stoerti · 2011-07-23T15:10:25.000Z

Ja, also ich ziehe meine erste Aussage zurück, sorry, es sind bedeutend weniger, allerdings gibt es doch eine ganze Reihe solcher verwaisten Nodes.
Das heisst, meine Frage hätte noch Bestand.
Könnte/sollte man die irgendwie mal löschen bzw. ich denke, es macht Sinn, die zu löschen, denn wenn ich nur von Deutschland ausgehe, mit 16GB, davon ca. 70% Nodes, davon mal hochgerechnet 1% Schrott-Nodes dann wären das grob überschlagen gut 120MB im XML Export nur für Deutschland an Müll.
Beim World-File wäre man schon im mehrere GB Bereich.
Selbst, wenn es nur 1GB ist, hätte das meines Erachtens durchaus Sinn.

Auf die Aussage, es gäbe morgen keine Strassen in Brandenburg mehr: Ich selbst würde mich an dieses Vorhaben eher nicht ran trauen wollen

monotar · 2011-07-23T15:50:54.000Z

ich würde erst einmal belastbare Zahlen sehen wollen wieviel Prozent oder Promille es denn wirklich sind. Ich hoffe du hast nicht auch Nodes mit einbezogen die z.B. nur ein note=* besitzen, da ich solche auch schon erstellt habe und es nicht gerne sehen würde, wenn diese automatisiert gelöscht würden.

Nop · 2011-07-23T17:05:17.000Z

Marqqs:

Berechtigte Frage.
Woher kommen solche Nodes eigentlich?

Potlatch2 hat einen Bug, der beim Anlegen eines Weges und anschließendem Undo den ersten Punkt verwaist stehen läßt. Könnte auch zu sowas beitragen.

bye
Nop

EvanE · 2011-07-23T17:56:48.000Z

Nop:

Marqqs:

Woher kommen solche Nodes eigentlich?

Potlatch2 hat einen Bug, der beim Anlegen eines Weges und anschließendem Undo den ersten Punkt verwaist stehen läßt. Könnte auch zu sowas beitragen.

Hallo Nop

Das ist auch das übliche Verhalten auch in JOSM.
Einen Weg mit z.B. 5 neuen Knoten anzulegen, erzeugt 6 Aktionen:

1x Weg anlegen
5x Knoten anlegen

Mit Undo wird jede Aktion einzeln zurück genommen.
Wenn man statt dessen den Weg löscht (eine weitere Aktion), werden in einem Schwung der Weg und die Punkte, die nur in diesem Weg enthalten sind gelöscht.

Zur Frage des Threads: In Bonn sind es sicher weniger als 1 Promille verwaiste Knoten.
Das liegt auch daran, dass es in Bonn üblich ist, verwaiste Knoten nach längerer Zeit (3-12 Monate) einfach zu löschen.

Edbert (EvanE)

wambacher · 2011-07-23T18:47:18.000Z

EvanE:

Das liegt auch daran, dass es in Bonn üblich ist, verwaiste Knoten nach längerer Zeit (3-12 Monate) einfach zu löschen.

Ich lösche auch jederzeit Single-Nodes ohne grosses Nachfragen/Bedauern wenn sie nicht gerade in Massen auftreten - egal wo ich mich gerade “rumtreibe”.

Gruss
Walter

woodpeck · 2011-07-23T20:45:19.000Z

stoerti:

Hm…guter Hinweis. Da muss ich bei meinen Aufräumfunktionen wohl noch nachbessern.
Manuelle Stichproben waren immer verwaiste Nodes.

Darf ich fragen, was das eigentlich genau fuer “Aufraeumfunktionen” und “Importe” sind, die Du da auf OSM loslaesst?

Zur Erinnerung: Von jedem, der irgendwas an der Datenbank automatisch oder halbautomatisch macht, wird erwartet, dass er

alles vorher genau mit der Community diskutiert, auch welche Logik er genau anwenden will usw.
alles genau dokumentiert (Quelltext usw.)
seine Programmlaeufe protokolliert, so dass man sehen kann, was da wann gemacht wurde

Siehe auch:
http://wiki.openstreetmap.org/wiki/Automated_Edits
http://wiki.openstreetmap.org/wiki/Data_working_group/Mechanical_Edit_Policy

Bye
Frederik

HansEN · 2011-07-23T21:39:00.000Z

woodpeck:

stoerti:

Hm…guter Hinweis. Da muss ich bei meinen Aufräumfunktionen wohl noch nachbessern.
Manuelle Stichproben waren immer verwaiste Nodes.

Darf ich fragen, was das eigentlich genau fuer “Aufraeumfunktionen” und “Importe” sind, die Du da auf OSM loslaesst?

Ich denke, stoerti geht es hier nur um das Aufräumen der Daten beim Import in eine lokale Datenbank mit einem Perl-Skript, an dem er arbeitet und über das im Nachbarthread diskutiert wird.

Zum Aufräumen bei OSM selbst schreibt er:

stoerti:

Auf die Aussage, es gäbe morgen keine Strassen in Brandenburg mehr: Ich selbst würde mich an dieses Vorhaben eher nicht ran trauen wollen

Nop · 2011-07-23T23:34:22.000Z

EvanE:

Nop:

Marqqs:

Woher kommen solche Nodes eigentlich?

Potlatch2 hat einen Bug, der beim Anlegen eines Weges und anschließendem Undo den ersten Punkt verwaist stehen läßt. Könnte auch zu sowas beitragen.

Das ist auch das übliche Verhalten auch in JOSM.

Bist Du sicher? In P2 bleibt der Punkt stehen, auch wenn Du dann nochmal Undo drückst. Du kriegst ihn nur durch extras markieren und einzeln löschen weg.

bye
Nop

EvanE · 2011-07-24T00:18:38.000Z

Nop:

Bist Du sicher? In P2 bleibt der Punkt stehen, auch wenn Du dann nochmal Undo drückst. Du kriegst ihn nur durch extras markieren und einzeln löschen weg.

Hallo Nop

Nach deiner Beschreibung ist das ein echter Fehler in Potlatch 2.

In JOSM funktioniert das wie gewollt. Knoten für Knoten wird per Undo zurück genommen. Unerwünschte Reste bleiben keine.
Es besteht natürlich die Möglichkeit eine Knoten bei mehreren Undo’s zu übersehen. Darauf bezog ich mich.

Edbert (EvanE)

MoTaBi · 2011-08-08T12:24:38.000Z

Da werden ja pro Punkt nur einmal die Koord. gespeichert. Ich hau die gerne weg. Bei Häufungen kriegt der Urheber einen Hiebnweis.

Schlimmer finde ich die ständigen Einträge: Edited with Merkator08/15 o.ä.
Wenn da einer Straßen mit anlegt steht der Mist in jedem einzelnen Node.
Das ist meiner Meinung nach 10x mehr Datenmüll.

Xtrem-Lösching!