Qualitätssicherung nach vorne ziehen ?

TheFive · 2011-06-25T17:05:06.000Z

Der Wunsch, die Validation mehr nach vorne zu holen, kommt ja immer wieder hoch. Einen Potlatch und Merkartorvalidator möchte ich hier nicht wieder wünschen, da fehlt mir in den Diskussionen irgendwie Entwicklerfeedback.

Ich hatte letztens ja schon den Vorschlag, das die Server beim Upload die wichtigsten Test durchführen und nur mit bewusster Übersteuerung die Changesets annehmen, wenn sie einschlägige Fehler haben. Bringt aber viel Last auf die Server, und sofortiges Upload Feedback wird schwierig, war der Diskussionsstand, den ich nicht einschätzen kann, der mir aber plausibel erscheint.

Eine Idee hab ich noch:

Die Userplattform von Openstreetmap wird zur Fehlermeldezentrale.

Tools, die in der Lage sind einen Fehler relativ eindeutig einen User zuzuordnen, bekommen das Recht diese Fehler über die Plattform an den User zu versenden. Dabei ist natürlich sicherzustellen, das der Fehler EXAKT 1* an 1nem User geschickt wird.

Die Openstreetmapplattform übernimmt die Auslieferung und das Mail “Management”. jedes Fehlertool kann seine Fehlertypen dynamisch bei OSM konfigurieren und allen User Fehlertypen als Mail anbieten. Dabei gibt’s defaults von Fehlertypen, die verschickt werden und vom User weggefiltert werden können, und komplexere Fehler, die man anfordern muss.

Ich mach das streckenweise jetzt von Hand mit dem Anmailen, das funktioniert auch in 50 % der Fälle (was statistisch einen Erfolg auf der Gesamtdatenbasis bedeuten würde)… Wenn ich das von Hand mache, kann ich natürlich auch Hilfe und Rückmeldung geben, das kann so ein Tool nicht. Aber der User weiss, das er sich irgendwo Hilfe holen muss.

Achtung: um der Diskussion zuvorzukommen, das es ja auch false Positive gibt, und manche Fehler keine sind, sollten wir uns auf Fehler beschränken, die relativ eindeutig zuzuordnen sind, und die wenig Interpretationsspielraum lassen, und bei der wir die Meinung haben, das der nicht irgendwann, sondern kurzfristig behoben werden sollte. Die Warnung “touching inner rings” vom OSM-I fällt sicher nicht darunter. Die Fehlertools sollten in der Lage sein, mehr Fehler anzuzeigen, als sie per Mail versenden. Auch ist die Wichtigkeit der Fehler meiner Ansicht nach unterschiedlich, die Zahl der Fehlermeldungen sollte schon ein erträgliches Mass haben, und neue NICHT abschrecken. Letzteres ist natürlich eine Gefahr.

Auch sollten wir sicherstellen, das die Schnittstelle nicht von jedem, der sich berufen fühlt einen Bot zum Thema zu programmieren, zum Spammen seiner individuellen Meinung genutzt wird.

Ich habe auch schon Bockmist produziert, wo ich mich selber über so eine Mail gefreut hätte, in diesem Falle hatte ein anderer Mapper die Meldung übernommen.

In der Ausbaustufe 2 kann man dann auch bestimmte Fehlermeldungen in seinem “Stammgebiet” abonnieren (so wie wir das von der OWL kennen).

Zu viel Mailspam, oder ein guter Vorschlag ?

Christoph

amm · 2011-06-25T17:57:20.000Z

TheFive:

Ich hatte letztens ja schon den Vorschlag, das die Server beim Upload die wichtigsten Test durchführen und nur mit bewusster Übersteuerung die Changesets annehmen, wenn sie einschlägige Fehler haben. Bringt aber viel Last auf die Server, und sofortiges Upload Feedback wird schwierig, war der Diskussionsstand, den ich nicht einschätzen kann, der mir aber plausibel erscheint.

Man kann natuerlich nie wissen was in Zukunft geschieht, aber ich wuerde mal die Chancen fuer Server seitige Validierung als sehr gering einschaetzen. Dafuer gibt es viel zu viel Widerstand gegen Bots im Allgemeinen und erst recht dagegen das es “offizielle” tags gibt, was der Fall waere wenn man eine Validierung in die API einbaut. Das Maximum was man hier erwarten kann sind gewisse Konsistenzchecks, wie z.b. das Wege ohne oder mit nur einem Node nicht mehr zugelassen werden. Oder vielleicht in einer Zukuenftigen Version der API die vielleicht mal Flaechentypen unterstuetzt sicherstellt das diese topologisch korrekt sind. Alles was eine Interpretation von tags benoetigt wird aber wie gesagt sehr unwahrscheinlich in die API aufgenommen werden.

Die Qualitaetssicherung muss also auf andere Wege verbessert werden. Und imho sind hier dringend Verbesserung noetig. Da gerade in Deutschland viele Gebiete inzwischen “komplett” sind liegt der Hauptaugenmerk auf der Qualitaetssicherung und der Aktualisierung der Daten.

Eigentlich gibt es ja schon reichlich und auch sehr gute Qualitaetssicherungs tools. Das Problem ist imho das zu wenige Leute diese kennen und nutzen. Es ist also wichtige diese verschiedenen Tools enger in die Editoren und die Pltaform zu integrieren.

TheFive:

Die Userplattform von Openstreetmap wird zur Fehlermeldezentrale.

Unter bestimmten Bedingungen hat das ein gewisses Potential. Man muss aber sehr vorsichtig sein das man damit nicht viele Leute verprellt.

TheFive:

Tools, die in der Lage sind einen Fehler relativ eindeutig einen User zuzuordnen, bekommen das Recht diese Fehler über die Plattform an den User zu versenden. Dabei ist natürlich sicherzustellen, das der Fehler EXAKT 1* an 1nem User geschickt wird.

Theoretisch kann man das auch jetzt schon machen. Man kann einen Bot schreiben der z.B. die minuetlichen difffiles einliest und dann den Usern die ein Fehler gemacht haben eine Mail schicken.

Allerdings, erstens, weis ich nicht wie schnell man von den Admins geblockt wird wenn man auf diese Weise massen mails verschickt und zum anderen, sollte man user nur dann automatisch aktiv belaestigen wenn es eindeutig ein Fehler ist. Wenn es aber so eindeutig ein Fehler ist, kann man es auch gleich einfach automatisch korrigieren. (Wie es z.B. xybot macht)

TheFive:

Die Openstreetmapplattform übernimmt die Auslieferung und das Mail “Management”. jedes Fehlertool kann seine Fehlertypen dynamisch bei OSM konfigurieren und allen User Fehlertypen als Mail anbieten. Dabei gibt’s defaults von Fehlertypen, die verschickt werden und vom User weggefiltert werden können, und komplexere Fehler, die man anfordern muss.

Eine Filterfunktion ist wohl die Hauptsache die mit dem derzeitigen System nicht machbar ist und man tatsaechlich die Platform erweitern muesste.

Ein bisschen in die Richtung geht die Implementierung der OpenStreetBugs integration ( http://openstreetbugs.dev.openstreetmap.org/ ) Dort sind die Bugs dann mit dem usermanagement integriert und man erhaelt emails wenn sich etwas an seinen Bugs tut und man kann dann filtern ob man diese Benachrichtigungen erhalten will oder nicht. Allerdings ist daran nichts automatisch.

TheFive:

Ich mach das streckenweise jetzt von Hand mit dem Anmailen, das funktioniert auch in 50 % der Fälle (was statistisch einen Erfolg auf der Gesamtdatenbasis bedeuten würde)… Wenn ich das von Hand mache, kann ich natürlich auch Hilfe und Rückmeldung geben, das kann so ein Tool nicht. Aber der User weiss, das er sich irgendwo Hilfe holen muss.

Von Hand halte ich hier fuer geschickter, da ein automatisches Anmailen vermutlich als Spam / bzw als unangenehm empfunden wuerde.

TheFive:

In der Ausbaustufe 2 kann man dann auch bestimmte Fehlermeldungen in seinem “Stammgebiet” abonnieren (so wie wir das von der OWL kennen).

So eine Loesung wuerde ich fuer sinnvoller halten.

edwin-ldbg · 2011-06-25T18:37:23.000Z

oder ein guter Vorschlag ?

Rechtsanwaltliche Abmahnungen + unkostenpauschale von 500 Euro für das beseitigen der Fehler wäre eine angemessene Reaktion.

TheFive · 2011-06-25T18:41:12.000Z

edwin-ldbg:

oder ein guter Vorschlag ?

Rechtsanwaltliche Abmahnungen + unkostenpauschale von 500 Euro für das beseitigen der Fehler wäre eine angemessene Reaktion.

Soll ich dir meine Kontonummer sagen, weil ich einen Orchard für Dich gefixt habe, ohne Dich abzumahnen ?
Mach 1000 Lire (Damit bezahlt man doch bei Euch da unten )

edwin-ldbg · 2011-06-25T18:49:42.000Z

Wahrscheinlicher ist, dass mein Account gehackt wurde, um irgendwo Fehler einzubauen um mich in Misskredit zu bringen. Strafanzeige wurde eben gestellt. Der von der Kripo meint, dass es evt. Stefan Küste war

TheFive · 2011-06-25T18:53:36.000Z

edwin-ldbg:

Wahrscheinlicher ist, dass mein Account gehackt wurde, um irgendwo Fehler einzubauen um mich in Misskredit zu bringen. Strafanzeige wurde eben gestellt. Der von der Kripo meint, dass es evt. Stefan Küste war

Hallo Edwin,
damit wären wir wieder beim Tatortthema, wo wir ja schon Haue fürs Off Topic bekommen haben. (ich kann die Smilies endlich).

Gibts denn noch Anmerkungen zu meinem Vorschlag ?

edwin-ldbg · 2011-06-25T18:56:20.000Z

http://www.openstreetmap.org/?lat=47.59392&lon=9.61656&zoom=17&layers=M

An dieser Stelle kann ich mich gut erinnern… nach dem ich deine Änderungsliste durchgeschaut habe

da war ein Keepright Fehler. Ein Verbrechen, Flächenumrisse an Wege zu koppeln. Ich hasse es, macht das Editieren extra schwer.

TheFive · 2011-06-25T19:02:27.000Z

edwin-ldbg:

Ein Verbrechen, Flächen an Wege zu koppeln. Ich hasse es, macht das Editieren extra schwer.

Nach meinem Self Intersections Feldzug werde ich eine JOSM Liebt gekoppelte Linien Wiki Seite aufmachen.
Ich glaube der ganze wie ganze wie Mappen wir das Diskussion ist eine reine Editor Diskussion, aber wir mappen ja nicht für die Editoren.

Allerdings ist damit der erste Versuch wieder On Topic zu werden gescheitert.

de_muur · 2011-06-25T19:04:34.000Z

edwin-ldbg:

Ein Verbrechen, Flächenumrisse an Wege zu koppeln. Ich hasse es, macht das Editieren extra schwer.

Genau das ist das Problem (bezogen auf die urspruengliche Frage): Es gibt nur sehr selten einen Konsens, was richtig und was falsch ist (ich koppel grundsaetzlich Wege und Flaechenumrisse, weil ich das fuer die beste Loesung halte.) Insofern sind alle Validator-Programme mit extremster Vorsicht zu geniessen, Wer sollte entscheiden, was als Fehler gemeldet wird?

Gruss
Torsten

TheFive · 2011-06-25T19:15:40.000Z

de_muur:

edwin-ldbg:

Ein Verbrechen, Flächenumrisse an Wege zu koppeln. Ich hasse es, macht das Editieren extra schwer.

Genau das ist das Problem (bezogen auf die urspruengliche Frage): Es gibt nur sehr selten einen Konsens, was richtig und was falsch ist (ich koppel grundsaetzlich Wege und Flaechenumrisse, weil ich das fuer die beste Loesung halte.) Insofern sind alle Validator-Programme mit extremster Vorsicht zu geniessen, Wer sollte entscheiden, was als Fehler gemeldet wird?

Gruss
Torsten

Hi Torsten,

Danke für die Kurve :). Ich sehe das so
http://wiki.openstreetmap.org/wiki/File:Vandalismus_Zwijndrecht.gif ist ein Fehler. Diese Variante gibts auch in kleiner und an Stellen wo es keiner merkt. Touching inner Rings sind kein Fehler.

Diese Verschiebungen sind zur Zeit so häufig, das wir Fehlertools dafür brauchen. (ich hab um so etwas zu korrigieren, schon mehrfach den Reverter
anschmeissen müssen). Ich weiss nicht ob es an Potlatch liegt oder am Zulauf, aber es ist ein Problem.

Ich fände gut, wenn wir einen Mechanismus hätten und dann über die Ausgestaltung diskutieren können. Wenn wir wegen möglicher unterschiedlicher Meinungen schon die Überlegungen für einen Mechanismus abbrechen, sind irgendwann die erfahrenen Mapper damit beschäftigt die Karte aufzuräumen, da die Daten immer komplexer werden, und die Fehler immer schwieriger zu fixen.
Im Zweifel würde ich bei Fehlern dafür plädiern, diesen nicht zu melden, aber die Option zu geben. Würde unserem Freiwilligkeitsprinzip entsprechen.

schlauchboot · 2011-06-25T19:16:05.000Z

amm:

TheFive:

Die Userplattform von Openstreetmap wird zur Fehlermeldezentrale.

[…] Man muss aber sehr vorsichtig sein das man damit nicht viele Leute verprellt.

+1. Was ist besser is Bezug auf Personen, die es nicht so genau nehmen:

das Verprellen derselben, oder

das Korrigieren der Fehler dieser Leute?

Schwer zu sagen, hängt sicher vom Einzelfall ab. Auf jeden Fall haben Menschen hier mehr Potential für Fingerspitzengefühl (in Bezug auf des Melden von Fehlern), als Programme

TheFive · 2011-06-25T19:32:00.000Z

schlauchboot:

… Auf jeden Fall haben Menschen hier mehr Potential für Fingerspitzengefühl (in Bezug auf des Melden von Fehlern), als Programme

mm, einen Kollegen hab ich mit Fehlermeldungen vergrault. Hier wäre die “good guy Christoph und die bad guy computer” story auch gut gewesen, so musste ich beide Rollen übernehmen, was schiefgegangen ist.

Radeln · 2011-06-26T06:28:13.000Z

Frage mich, wie QA in OSM effektiv funktionieren soll, ohne eindeutige Vorgaben für das Mappen/Taggen.
Man braucht sich bloß das Wiki anzuschauen, mal abgesehen davon, daß man es nicht beachten muß (Jeder kann machen was er will).

Radeln · 2011-06-26T06:33:19.000Z

edwin-ldbg:

http://www.openstreetmap.org/?lat=47.59392&lon=9.61656&zoom=17&layers=M

An dieser Stelle kann ich mich gut erinnern… nach dem ich deine Änderungsliste durchgeschaut habe

da war ein Keepright Fehler. Ein Verbrechen, Flächenumrisse an Wege zu koppeln. Ich hasse es, macht das Editieren extra schwer.

Vor allem dann, wenn die Fläche nicht mal bis an den Weg heranreicht.

aighes · 2011-06-26T07:26:21.000Z

Sicherlich gibt es viele Dinge, die manche als Fehler ansehen, andere aber nicht.

Es gibt aber durchaus Sachen, die eindeutig Falsch sind. Bspw. nicht verbundene Straßen, doppelte Nodes, Wege mit nur einem Node (oder wurde das Problem mittlerweile behoben?), Objekte ganz ohne Tags, uvm.

Was mir aber wichtig wäre, dass diese ganzen Fehlermeldungen intern bleiben. Wird sowas öffentlich gezählt, dann schreckt das neue Mapper ab und schadet mehr, als das es nützt. Generell sind solche Hinweise (ob nun automatisch, oder manuell von Mappern) etwas sehr sinnvolles und wird von vielen Neulingen als positiv gewertet.

wambacher · 2011-06-26T07:40:22.000Z

aighes:

Wege mit nur einem Node (oder wurde das Problem mittlerweile behoben?)

moin moin,

wenn du das Problem beim Einspielen der Diff-Files mit osmosis meinst: nein

http://gis.638310.n2.nabble.com/osmosis-dev-one-node-ways-td6253452.html

Gruss
Walter

TheFive · 2011-06-30T18:54:22.000Z

in Anbetracht der Tatsache
http://tools.geofabrik.de/osmi/?view=geometry&lon=10.18201&lat=47.96781&zoom=9&opacity=0.74&overlays=self_intersection_ways,self_intersection_points
(hier hat ein Mapper konsequent OSM mit ABA wegen erweitert, ich habe aber schon Kontakt mit Ihm aufgenommen),
will ich das noch mal in die Runde werfen.

Der grosse Wurf / Vorschlag wird eh nix, also was wäre ein Vorschlag für eine prototypische Umsetzung ?

Kann man mit dem gary86 pl script (geometriefehler) (http://forum.openstreetmap.org/viewtopic.php?id=12824) die täglichen diffs in Deutschland analysieren und Freiwillige anmailen.
Verteilung der Mails nach dem Prinzip: Fehler in BBox TheFive-> Mail an TheFive.
Die Mails könnten ja bei Bedarf von den Empfängern an die Versacher weitergeleitet werden um direkt auch Feedback zu erhalten.

Ich würde mich ja für eine Bereich / Bundesland melden (zumindest die Fehler zu empfangen, mal zu prüfen und nach möglich fixen)
Vielleicht gibt es ja weitere Freiwillige.

Probleme: Entwicklung und Betrieb eines solchen Prototypen, und weitere Interessenten.

Eigentlich stell ich mir das ja nicht schwer vor, uneigentlich komme ich da in ein Kompetenzloch

Christoph

SunCobalt · 2011-06-30T19:14:33.000Z

ich glaube, das geht nicht. Die Diffs enthalten nicht alle zur Prüfung notwendingen Information sondern nur Änderungen. Es sind nur bei einem neu erstellten Objekt alle Infos drin

TheFive · 2011-07-01T05:58:32.000Z

SunCobalt:

ich glaube, das geht nicht. Die Diffs enthalten nicht alle zur Prüfung notwendingen Information sondern nur Änderungen. Es sind nur bei einem neu erstellten Objekt alle Infos drin

Sieht so aus als ob ich an meinem Kompetenzloch arbeiten muss, oder jemanden finden, der meine Idee gut findet, und mehr Ahnung hat :).

Danke für den Hinweis, ich werd das mal technisch grundlegender überdenken.

Unabhängig davon sollte ich vielleicht mal eine Daten für eine Auswertung über Feedback / Reaktion / Fehlerbehebung meiner punktuellen Anschreibeaktionen sammeln.

badger123 · 2011-07-01T06:25:04.000Z

Kann man nicht einfach die “Keep Right” Daten anzapfen und so ein Diff über die reinen Fehler ziehen?
So hätte man alle neuen Fehler und könnte vielleicht darauf einen Filter ansätzen der nur die gewünschten Fehler auswirft und den letzten Bearbeiter des Weges feststellt.

Dies ist jetzt erstmal nur laut gedacht. Ich hab leider keine Ahnung wie “Keep Right” seine Daten bereitstellt.