HILF MIT! OpenStreetBugs schließen bzw. zu OSM-Notes übertragen

TheFive · 2013-12-06T19:34:45.000Z

EvanE:

Allerdings gibt es noch die zugehörige API und die wird von etlichen APPs verwendet. Es dauerte eine Weile, bis die APP-Entwickler überzeugt wurden, von OSM-Bugs auf OSM-Notes umzustellen. (EvanE)

muechel:

[Werbung]Quelle: http://osm.mueschelsoft.de[/Werbung]

Jan(?) , du nutzt die API doch auch, bei Dir konnte ich gerade noch einen Task aufmachen, aber eine coole Seite.

mueschel · 2013-12-06T21:21:14.000Z

TheFive:

Jan, du nutzt die API doch auch, bei Dir konnte ich gerade noch einen Task aufmachen

Da hast du wohl recht - der Code für die Karte ist einfach ein älterer clone von osmbugs.org. Jetzt habe ich den Zugriff auf die API zum Erstellen von Bugs rausgenommen.

EvanE:

Hast du vor, in Zukunft so eine Seite auch für OSM-Notes zu machen?

Vielleicht… Gibt es eigentlich irgendwo einen full-history dump der Notes zum Download?

wambacher · 2013-12-17T18:44:56.000Z

Um es mal mit Monty Python zu sagen: “And Now for Something Complete Different”

Ich habe mich mal um eine Statistik der Notes bemüht und 2 Charts erstellt, die die aktuelle Situation anzeigen. Beide Charts werden mit allen Notes des Planeten erstellt und 5x im Laufe eines Tages automatisch durch einen cron-Job aktualisiert. (0/8/12/16 und 20:00 Uhr)

Beim ersten Chart mit allen Notes bin ich mir absolut sicher, daß er stimmt; beim 2. mit der OSB-Auswertung bitte ich um Hinweise, falls ich komplett daneben liegen sollte.

groß: http://osm.wno-edv-service.de:8080/DataServer/osm/forum/notes/notes.png

groß: http://osm.wno-edv-service.de:8080/DataServer/osm/forum/notes/osbnotes2.png

Da ich da Daten jetzt endlich in meiner DB habe, sind andere Auswertungen wohl auch machbar. Ruhig melden.

@mueschel: Nein, es gibt keinen Dump der Notes - zumindest hab ich keinen gefunden. Ich hab mir die Notes in einem Java-Programm runtergeladen, xml geparsed und die Daten in zwei Postgresql-Tabellen gestellt. Sehr kritisch war der Update der Daten, da die Entwickler eine so chaotische Api auf die Beine gestellt haben, die ~~dafür nicht geeignet ist~~ sowas nicht gerade einfach macht. Wenn du selber Postgresql im Einsatz haben solltest, hätte ich eine Lösung für dich.

Gruß
walter

SammysHP · 2013-12-17T21:11:31.000Z

Ich dachte, man kann bei OSB keine mehr hinzufügen?

TheFive · 2013-12-17T21:32:28.000Z

Sie Post #56 von EvanE

wambacher · 2013-12-17T21:34:00.000Z

SammysHP:

Ich dachte, man kann bei OSB keine mehr hinzufügen?

das sind keine neuen Meldungen im OSB-System sondern alte, nicht erledigte OSB-Meldungen, die als Note importiert wurden.

Und wenn meine Auswertung der Notes einigermaßen stimmt, bleiben das weiterhin “Karteileichen”

gruss
walter

rayquaza · 2013-12-17T21:40:07.000Z

Bei OSB sind’s aber trotzdem ~250 neue diesen Monat. Gibt es z.B. einen RSS-Feed “neue OSB-Bugs weltweit”? Sind die UserAgent-Strings brauchbar?

wambacher · 2013-12-17T21:48:29.000Z

rayquaza:

Bei OSB sind’s aber trotzdem ~250 neue diesen Monat. Gibt es z.B. einen RSS-Feed “neue OSB-Bugs weltweit”? Sind die UserAgent-Strings brauchbar?

Dabei wäre es für den Admin der API (nicht der APPs) ein leichtes, die dicht zu machen.

Nun denn
Walter

MKnight · 2013-12-18T03:28:30.000Z

wambacher:

Dabei wäre es für den Admin der API (nicht der APPs) ein leichtes, die dicht zu machen.

Ich glaube (!) dass eins der kleineren Probleme des Admins ist, das dicht zu machen.
Eins der grösseren Probleme ist m.E. - soweit ich keine Informationen zum Thema übersehen habe - dass er nie gefragt oder konsultiert wurde, was er davon hält die Geschichte nach OSM zu übernehmen.

wambacher · 2013-12-18T07:21:20.000Z

MKnight:

Eins der grösseren Probleme ist m.E. - soweit ich keine Informationen zum Thema übersehen habe - dass er nie gefragt oder konsultiert wurde, was er davon hält die Geschichte nach OSM zu übernehmen.

jo, das passt! Genauso wie hier im Forum verzweifelt nach eine Möglichkeit gesucht wird, eine bestimmte Software kaufen zu können aber der Verkäufer (mit Webseite) wohl noch nie gefragt wurde

Gruss
walter

ps: mein “Motz des Tages”

wambacher · 2013-12-24T17:30:51.000Z

Hier mal eine neue OSB-Notes-Auswertung. Es werden einige OSB-Notes mehr gefunden als bei der alten Auswertung aber am Trend ändert das leider nichts.

groß: http://osm.wno-edv-service.de:8080/DataServer/osm/forum/notes/osbnotes2.png

Gruß
walter

ps: Dazu steht auch was bei Talk-DE. (sorry - nabble only)

rayquaza · 2013-12-24T23:22:53.000Z

Das sind die, die von OSB nach OSMN verschoben wurden, verstehe ich das richtig? Nachtrag: In der Grafik steht’s, aus dem Text hier im Thread war es (mir) nicht so ersichtlich.

wambacher:

Dabei wäre es für den Admin der API (nicht der APPs) ein leichtes, die dicht zu machen.

Da hätte ich einen (spontanen, bestimmt nicht umsetzbaren) Vorschlag, wie man das etwas sanfter machen könnte: Die API immer in der Mitte des abgefragten Gebiets eine Fake-Meldung mit einem Hinweis, dass man doch bitte aktualisieren möge, ausliefern lassen.

wambacher · 2013-12-24T23:28:43.000Z

rayquaza:

Das sind die, die von OSB nach OSMN verschoben wurden, verstehe ich das richtig? Nachtrag: In der Grafik steht’s, aus dem Text hier im Thread war es (mir) nicht so ersichtlich.

genau, das sind die nach OSM-Notes verschobenen OSB-Daten. Wurde aber in diesem Thread bereits hier genau erklärt.

Gruss
walter

Oli-Wan · 2013-12-25T00:02:45.000Z

rayquaza:

Da hätte ich einen (spontanen, bestimmt nicht umsetzbaren) Vorschlag, wie man das etwas sanfter machen könnte: Die API immer in der Mitte des abgefragten Gebiets eine Fake-Meldung mit einem Hinweis, dass man doch bitte aktualisieren möge, ausliefern lassen.

Dann ist nur noch die Frage, ob die Quellen dieser Neueinträge (altes Osmand, Geovelo, …) überhaupt vorher bestehende OSBs abfragen und anzeigen oder nur per “Fehler melden” die Erstellung eines OSB ermöglichen. In letzterem Fall bringt die Fake-Meldung gar nichts.
Notes steht inzwischen seit acht Monaten zur Verfügung. Seitdem hatten Entwickler Zeit, ihre Anwendungen anzupassen - m.E. “sanft” genug. (Und gegen aktualisierungsunwillige Nutzer, wie hier bei Osmand, hilft sowieso nichts.)

wambacher:

Es werden einige OSB-Notes mehr gefunden als bei der alten Auswertung aber am Trend ändert das leider nichts.

Ich denke, ein Urteil über den “Trend” ist hier verfrüht. Die nun verschobenen OSBs leiden unter mehreren Auswahleffekten (Bias):
Erstens handelt es sich bevorzugt um solche, die nur durch Recherche vor Ort und nicht einfach per Blick aufs Luftbild gelöst werden können - sonst wären sie nämlich inzwischen geschlossen, spätestens im Zuge der aktuellen Putzaktionen, wo manch einer recht “vertrauensvoll” vorgeht.
Zweitens liegen sie bevorzugt in Regionen, wo es wenige bis keine Mapper gibt oder diese sich nicht für Fehlerkorrekturen interessieren.
Drittens sind solche mit unklarer bis völlig unverständlicher Beschreibung darunter. Solche sollte man m.E. nach /dev/null schicken; die beiden vorgenannten Punkte sind allein noch kein Grund dafür.
“Komplexe” Meldungen in mapperarmen Regionen bleiben auch dann, wenn sie frisch erstellt werden, länger liegen als solche in einer mapperreichen Stadt, die noch dazu vom warmen Sofa aus gelöst werden können. Insofern ist es noch zu früh, sich über die auf den ersten Blick bescheidene Schließungsquote (~12%) zu ärgern.

Übrigens mal ein Lichtblick: vor einigen Monaten habe ich bekanntlich einige dutzend OSBs verschoben, welche inhaltlich sinnvoll und plausibel waren, die ich aber nicht selbst verifizieren konnte. Vor einigen Tagen hat ein gelegentlicher Mapper viele davon - sorgfältig - bearbeitet und geschlossen.

werner2101 · 2013-12-26T08:41:32.000Z

Hallo zusammen,

ich fange mal mit ein paar Links an.
Die Beschreibung zu OpenStreetbugs im Wiki ist hier:
https://wiki.openstreetmap.org/wiki/Openstreetbug

Die Seite zur Organisation der OSB-Ablösung ist hier:
https://wiki.openstreetmap.org/wiki/OpenStreetBugs/Phase_Out

Aktuelle Statistiken zu den noch offenen Bugs in OSB findet ihr hier:
http://www.h-renrew.de/h/osm/osmchecks/09_osb_phaseout/

Zum Thema anlegen neuer Bugs in OSB:
Es wurde bewusst nur das Frontend abgeschaltet, da von der Abschaltung der API auch andere Programme, Apps und Webseiten betroffen sind.
Die Abschaltung der homepage habe ich zusammen mit Emka durchgeführt.
Details s. github:
https://github.com/emka/openstreetbugs/issues/50
und entsprechende Commits in seinem Repo:
https://github.com/emka/openstreetbugs/commits/master

Wir versuchen die Webseitenbetreiber und App-Entwickler zu erreichen und auf einen Umstieg zu Notes zu bewegen. Einige haben bereits das Anlegen neuer Bugs abgeschaltet oder sind komplett auf Notes umgestiegen.
https://wiki.openstreetmap.org/wiki/Openstreetbug#Tools_for_Using_and_Exporting_Data
In der Tabelle sind die Apps / Webseiten aufgelistet, mit denen noch Bugs angelegt werden können.

Die meisten neuen Bugs werden derzeit in Moskau angelegt, wahrscheinlich nur von einem user mit einer alten osmand-Version.
Ich versuche derzeit den User zu erreichen und auf den Umstieg zu Notes zu bewegen.
s. auch dieser ältere Blogpost (der Inhalt stimmt noch):
http://www.openstreetmap.org/user/werner2101/diary

Zum Thema Bugs von OSB nach Notes verschieben:
Derzeit kann man die OSBs halbautomatisch mit OSB2Notes (Oli-Wans tool) und osb_fixing (mein tool) verschieben.
Die Anzahl der mit den Tools verschobenen Bugs ist auf meiner Statistikseite ganz am Ende geplottet.
In der Graphik von oben (von Wambacher) fehlen die mit OSB2Notes verschobenen Bugs, aufgrund eines anderen Filters sind in dem Plot auch manuell verschobenen Bugs enthalten.

Den verschobenen Bugs (ca 2000) stehen mittlerweile 17000 geschlossene Bugs in OSB gegenüber. Die Verschiebung von Bugs erfolgt hoffentlich nicht willkürlich, sondern nach einem Review.

In meinem ersten Blogpost zum Thema habe ich die Fehler folgendermaßen eingeteilt:

10% useless descriptions
30% already fixed in the map, but the OSB have not been closed
10% can be fixed with the bug description
20% can be fixed with aerial images (Bing)
30% local knowledge required (can not be fixed)

Da viele offenen Fehler sehr alt sind (durchschnittlich ca. 2 Jahre), können sicherlich mehr als die 20% mit Bing gelöst werden.
Einige Fehlerarten hatte ich bei meinem Blogpost Mitte Oktober noch nicht im Blick.
Fehlermeldungen, die auch von Keepright entdeckt werden:

“Bücke oder Tunnel?” (bei Kreuzung von Wasserwegen mit Straßen
“Name der Schule fehlt” … natürlich ohne Angabe des Names
“Name fehlt” … z.B. bei Straßen
Dies Bugs kann man meiner Meinung nach schließen, da in der Beschreibung keine Information enthalten ist.

Fehlermeldungen die von anderen Systemen kopiert wurden:

“Weg unvollständig”, zusätzlich ist aber ein FIXME-Tag in OSM vorhanden
Kopieen von Mapdust reports
…
Diese Bugs ann man meiner Meinung nach auch schließen. Doppelt Datenpflege macht nur doppelten aufwand.

Oli-Wan schreibt:

Übrigens mal ein Lichtblick: vor einigen Monaten habe ich bekanntlich einige dutzend OSBs verschoben, welche inhaltlich sinnvoll und plausibel waren, die ich aber nicht selbst verifizieren konnte. Vor einigen Tagen hat ein gelegentlicher Mapper viele davon - sorgfältig - bearbeitet und geschlossen.

Ich hatte kürzlich das gleiche Erlebnis. Mit fast schlechtem Gewissen habe ich einen größeren Anteil von OSB-Bugs in Tunesien nach OSNotes verschoben. Die OSBs wurden 2009 angelegt und waren seither unbearbeitet. In OSNotes wurden die meisten Fehler dann innerhalb eines Tages gelöst.

Zur API-Abschaltung:

Oli-Wan schreibt:

Notes steht inzwischen seit acht Monaten zur Verfügung. Seitdem hatten Entwickler Zeit, ihre Anwendungen anzupassen - m.E. “sanft” genug. (Und gegen aktualisierungsunwillige Nutzer, wie hier bei Osmand, hilft sowieso nichts.)

Das mag richtig sein. Bis vor zwei Monaten wurden die User im wiki noch auf OpenStreetBugs als Tracker-Plattform verwiesen. Prominent auf jeder Portalseite und in allen Sprachen. Ende Oktober bin ich die OSB-Seiten im Wiki durchgegangen und habe die Seiten von OSB auf Notes umgestellt.

Da nur noch wenige Bugs (außer Moskau) in OSB eingetragen werden, ist für mich die Abschaltung der API nicht so dringend. Ich diskutiere das mal mit emka.

Natürlich möchte ich hier nochmal alle einladen, die Bugs in eurer Umgebung zu bearbeiten.
Für diejenigen, die sich für größere Gebiete interessieren, hier nochmal der link zur entsprechenen Wiki-Seite.
https://wiki.openstreetmap.org/wiki/OpenStreetBugs/Phase_Out

werner2101 · 2013-12-26T09:05:06.000Z

@ Mueschel:
Zum Thema bugs auf http://osm.mueschelsoft.de/ anlegen:

Auf der OSB-Seite wurde einfach die Erzeugung des Dialogs beim Klick abgeschaltet:
https://github.com/emka/openstreetbugs/commit/1b2f439d507dd2fcb83792a9090723612e424dbf
Ohne den Cursor-Code nur ein Einzeiler. (ab Zeile 540)

Ich habe mal deine Seite wieder unter den Bug-Erzeugern gelistet:
https://wiki.openstreetmap.org/wiki/Openstreetbug#Tools_for_Using_and_Exporting_Data

wambacher · 2013-12-26T12:30:27.000Z

werner2101:

Zum Thema anlegen neuer Bugs in OSB:
Es wurde bewusst nur das Frontend abgeschaltet, da von der Abschaltung der API auch andere Programme, Apps und Webseiten betroffen sind.

“Unsere” OSM-API läßt sich für Wartungsarbeiten einfach auf Read-Only schalten.

Zum Thema Bugs von OSB nach Notes verschieben:
Derzeit kann man die OSBs halbautomatisch mit OSB2Notes (Oli-Wans tool) und osb_fixing (mein tool) verschieben.
Die Anzahl der mit den Tools verschobenen Bugs ist auf meiner Statistikseite ganz am Ende geplottet.
In der Graphik von oben (von Wambacher) fehlen die mit OSB2Notes verschobenen Bugs, aufgrund eines anderen Filters sind in dem Plot auch manuell verschobenen Bugs enthalten.

Das war mir nicht bewusst, aber ich hallte es für sinnvoll, alle von OSMB auch wie immer verschobenen Bugs anzuzeigen. Sie waren in OSMB gemeldet, sind noch nicht erledigt und jetzt in Notes drin. Und da zählen für mich die manuell in Notes geschriebenen auch dazu.

Wie man hier sieht, bestand ein dringender Bedarf nach einer motivierenden Grafik, und dem bin ich nachgekommen. That’s all.
Ist eh nur ein Abfallprodukt der Notes-Grafik.

groß: http://osm.wno-edv-service.de:8080/DataServer/osm/forum/notes/notes.png

Live-Grafik, alle Notes des Planeten, SQL-Dump verfügbar, lokale Analysen/Darstellungen sind möglich wenn Bedarf besteht.

Diese Bugs kann man meiner Meinung nach auch schließen. Doppelt Datenpflege macht nur doppelten aufwand.

sehe ich genau so.

Gruß
walter

mueschel · 2013-12-26T13:12:16.000Z

werner2101:

@ Mueschel:
Zum Thema bugs auf http://osm.mueschelsoft.de/ anlegen:
Ich habe mal deine Seite wieder unter den Bug-Erzeugern gelistet:

Das Eintragen von neuen Bugs habe ich schon nach dem ersten Hinweis hier im Thread abgeschaltet. Ich hatte nur den Zugang zur API entfernt, der Dialog ist nach wie vor da.

Nakaner · 2013-12-26T18:55:02.000Z

Hallo,

mal eine Frage in die Runde, wie mit Massen-Bugreports umzugehen ist. In weiten Teilen des Bördekreises im westlichen Sachsen-Anhalt hat im Januar 2013 jemand jede (oder ziemlich viele) fehlende Bushaltestellen gemeldet:
Die rote Flut

Meistens haben die Meldungen folgende Form: “Bitte die Haltestelle “Hakenstedt” in beiden Richtungen eintragen. [ClickKlack, 2013-01-16 23:30:13 CET]”

Jedes Dorf hat ein oder mehrere solche Meldungen, da auf dem Land dort noch keine Bushaltestellen gemappt sind.

Ich bin seit heute Morgen dabei, die Bugreports in Sachsen-Anhalt abzuarbeiten. Angefangen habe ich in Halle, dann gegen den Uhrzeigersinn weiter. Von Norden her (Oebisfelde) bin ich in das Gebiet “vorgestoßen.” Anfangs habe ich bei jedem Bug geschaut, ob ich auf Bing eine Haltebucht für den Bus oder ein Wartehäuschen erkennen kann. Langsam geht es mir aber auf die Nerven.

Was würdet ihr empfehlen? Soll ich alle Bugs mit einem “Die Aufforderung zum Eintragen allein nützt nichts. Wo ist die Haltestelle? [Nakaner, 2013-12-26 19:03:49 CET]” schließen und sie nicht nach OSM-Notes übertragen? Der Mehrwert dieser Bugreports ist IMHO sehr niedrig, da es sich um Massen-Bugs handelt.
Ausstehen tun noch Magdeburg Stadt, Teile des Kreis Jerichow, sachsen-anhaltinischer Teil des Harz und Kr. Mansfeld-Südharz
Viele Grüße von der roten-blauen Bug-Front

Michael

TheFive · 2013-12-26T19:18:35.000Z

Nakaner:

Was würdet ihr empfehlen?

Michael

Schwierig. Ich neige auch dazu, Bugs, die nicht wirklich nachvollziehbar sind mit einen freundlichen Hinweis zu schliessen.

Hier gibts 2 positive Dinge:
a) die Haltestellennamen sind bekannt, d.h. die OSB s beinhalten relevante Informationen.
b) ClickKlack ist ein existenter User :-), den http://www.hdyc.neis-one.org als Heavy Mapper einstuft.

Sprich Du kannst ihn einfach mal anschreiben, der Kollege ist in Magdeburg unterwegs, eventuell hilft er sogar im Fixing.

Wenn die Daten eine bekannte (und erlaubte) Qualität haben, dann könnte ein highway = Busstop mit einem entsprechenden Name (wird im Wiki NICHT empfohlen) zumindest das Fussrouting zur Haltestelle verbessern.

Die Frage ist natürlich, warum ClickKlack das nicht selber eingetragen hat. (Diese Frage hat aber schon SEHR Emotionale Diskussionen in Notes ausgelöst).

Christoph
P.S. ich bin dem Bugfixen solcher Haltestellenhinweise bisher aber immer aus dem Weg gegangen, allerdings stolpere ich über solche Hinweise auch immer in “Fremdregionen”.