neue Straßenlistenauswertung in Alpha-Version verfügbar

Hallo,

auf dem Münchener OSM Hack-Wochenende am 18. und 19.6. (vielen Dank nochmal für die super Betreuung, Verpflegung und Stimmung!) hatte ich unter tatkräftiger Hilfe der Anwesenden begonnen, eine neue Straßenlistenauswertung zu programmieren und habe jetzt eine erste Alpha-Version fertiggestellt [1].

Anlaß war, daß leider im Januar dieses Jahres die sehr gute Straßenlistenauswertung von Florian Lohoff ausgefallen ist und noch unklar ist, ob diese wieder bereitgestellt wird.
Kurz danach hat auch Sven Anders angekündigt, daß unter anderem seine Straßenlistenauswertung (zu beiden siehe [2]) nicht mehr lange verfügbar sein wird.

Die Auswertung ist funktional und optisch relativ eng an die frühere Version von Florian Lohoff angelehnt, allerdings ist der Programmcode neu erstellt worden.

  • Aktuell vorhandene Straßenlisten

Die aktuell auf der Website verfügbaren Auswertungen basieren auf einem Teil-Download mit Stand ca. Mitte Januar dieses Jahres, kurz bevor die Website von Florian leider offline ging.
Ich habe Florian Lohoff um die gesamten Listen angefragt, er will mir diese bei Gelegenheit übermitteln, dann werde ich diese mit einpflegen.

  • Pflege der Straßenlisten

Im Gegensatz zum früheren Auftritt von Florian will ich die eigentlichen Straßenlisten nicht in einem wiki auf dem Server vorhalten, sondern schlage vor, diese im OSM-Wiki zu speichern, damit sie dauerhaft zugreifbar bleiben. Dazu habe ich einige Beispiel-Listen dort abgelegt, die über die neue Wiki-Kategorie “List of street names” [2] aufgefunden werden können.
Wenn eine Gemeinde oder eine Stadt bereits eine Wiki-Seite hat, würde ich vorschlagen, die Straßenliste entsprechend auf einer neuen Wiki-Seite stadtxy/Straßenliste zu pflege, z.B. [3].
Für kleine Gemeinden oder die Listen eines Kreises habe ich diese zusammengefasst [4]
Die Struktur einer Seite entspricht grob der von Florian früher.

Die Nutzung des OSM-Wikis ist nur ein Vorschlag von mir. Stattdessen können die Listen auch woanders zentral und auch dezentral auf verschiedenen Websites gelagert werden. Eine entsprechende Maske zur Angabe der Orte wäre kein großes Problem.

  • Aktueller Funktionsumfang

Die graphische Anzeige der Auswertung je Bundesland fehlt noch und die zeitliche Entwicklung je Liste.
Darüberhinaus sollte aber die Auswertung aber ausreichen, das weiterhin fleißig fehlende Straßennamen ergänzt werden können :wink:

Bitte meldet Fehler, Verbesserungsvorschläge, optische Sachen (häßliche/aggreisive Farben?) etc., damit ich die Nutzbarkeit der Auswertung erhöhen kann.

  • Hosting / Zyklus der Auswertungen

Aktuell habe ich auf dem gehosteten Servers meines OSM-Freundes Eckhart Wörner (vielen Dank fürs Hosting !!) noch nicht die notwendige DB, daher rechne ich die Auswertungen je Bundesland lokal bei mir auf einem älteren Rechner und lade diese erst dann hoch.

Geplant ist aber, in Kürze eine tägliche Aktualisierung der Straßenlistenauswertung bereitzustellen.

Wenn jemand einen Host mit mindestens planed-Auszug Deutschland hat und meine Anwendung mit aufnehmen könnte, bitte melden. Dann müsste ich mich nicht um diese untere DB-Pflege des Datenbestandes kümmern. Aktuell läuft die Auswertung im Hintergrund und erzeugt nur statischen Output.

  • Doku im Wiki-OSM, Programmcode, etc.

Ich möchte noch abwarten, ob mein Vorschlag der Nutzung des OSM-Wikis für die Straßenlisten-Pflege aus Eurer Sicht ok ist, bevor ich dann meine Auswertung mal in einer wiki-Seite beschreibe (ok, schwache Ausrede für meien Faulheit diesbeüglich 8;)

Die Auswertung habe ich in Java geschrieben, bin aber noch blutiger Java-Neuling. Geplant ist, den Programmcode unter einer offenen Lizenz (GPL oder ähnlich) bereitzustellen und Interessierten später auch verfügbar zu machen. Wer mitprogrammieren will, melde sich gerne bei mir.

Und jetzt hätte ich gerne Eure Kommentare, Verbesserungsvorschläge, Prüfung der Auswertungen oder was sonst auch immer.

Viele Grüße

Dietmar aka okilimu

[1] http://eckhart-woerner.de/~dietmar/strassenliste/
[2] http://wiki.openstreetmap.org/wiki/Stra%C3%9Fenlisten
[3] http://wiki.openstreetmap.org/wiki/Category:List_of_street_names
[4] http://wiki.openstreetmap.org/wiki/Augsburg/Stra%C3%9Fenliste
[5] http://wiki.openstreetmap.org/wiki/Landkreis_Ostallg%C3%A4u/Stra%C3%9Fenliste

Hallo Dietmar,

was ist ein “planed Auszug”?

Vielen Dank für Dein Engagement in dieser Sache

Hallo SunCobalt,

am einfachsten wohl germany.osm.pbf in einer DB verfügbar.

Aktuell aus Resourcengründen extrahiere ich aus einem Bundesland Planet-Auszug, z.b. bayern.osm.pbf per osmosis

  • highway=*
  • boundary=administrative
  • place=* (wg. Hiearchiezuordnung)
    und importe das Ergebnis in einer lokalen DB auf Basis des einfachen omosis-Schemas.

Die DB-Struktur von osm2pgsql wäre auch ok, sofern die osm Tags in einer hstore-Spalte abgelegt sind.

Evtl. wären für einige Abfragen noch gist/gin Indizes notwendig/empfehlenswert, die brauche ich lokal bei einem Bundesland aber noch nicht.

Viele Grüße

Dietmar

Hi Dietmar,

schöner Neu-Anfang.
Allerdings ist die Liste - so kurz wie sie jetzt noch ist - bereits sehr unübersichtlich.
Du müsstest da eine Baumstruktur erstellen, sonst findet man sich selber nicht.

Wenn du relativ aktuelle Polygone zum Ausschneiden oder Shapes für spätere Grafiken braucht, findest du die hier bei mir:

http://wnordmann.homeunix.com/index.php/downloads/cat_view/40-openstreetmap/41-grenzen/48-deutschland

Stand juni/2011; in einigen Tagen sind sie wieder topaktuell.

Gruss
Walter

Hallo Walter,

ja, die Startseite werde ich wohl no hierarchisch strukturieren.
Die aktuelle Hierarchie ist so weitgehend in den Daten enthalten. Bei Bayern habe ich die meisten Fehler beseitigt, bei BaWü dürften die in ein bis zwei Tagen weg sein. Ist zumindest aktuell ein starker Anreiz, die Fehler zu enfernen :wink:

Zu Deinen Polygon-Files: ich habe mal Bayern angeschaut, das sieht gut aus! Beim Original von geofrabrik fehlen von der Außengrenze öfters Segmente. Hast Du Erfahrungen, was der zeitliche Mehraufwand bei osmosis ist, wenn ein Polygon von Dir mit Buffer läuft, weil dort ja die Knotenanzahl höher ist (etwa 1700 vs. 750 bei Geofabri)?

Viele Grüße

Dietmar

nö, hab ich nicht.
frederik ramm hatte mal um polygone mit maximal 1000 nodes gebeten aber manche sind halt grösser.
lässt sich ja auch schlecht parametrisieren. ich hab den buffer abhängig vom admin-level gemacht und es passt ganz gut.

ich hab keine ahnung, wie deine auswertung funktioniert; nur osmosis sollte dabei wohl draussen vor bleiben.

gruss
walter

osmosis ist nur aktuell auf meinem Entwicklungsrechner in einer Rolle, damit ich nicht ein komplettes Bundesland in die DB importieren muß, sondern nur bestimmte ways/nodes, abhängig von tags.
Ich habe gestern mal kurz rumgespielt, bayern bei Beibehaltung der Knotenanzahl zu verbessern, aber in josm und händisch geht da natürlich zuviel Zeit drauf.
Insofern werde ich mal Deine Buffer-Polygone probieren.

Auf dem Hosting-System später hoffe ich auf eine vorhandene DB mit relativ aktuellen Daten. Ein ständiger kompletter Import z.B. eines Landes wäre eine schlechte Option, mal schauen.

Vielen Dank und Grüße

Dietmar

genau dafür sind sie gedacht.

was für ne db? postgresql? osm2pgsql oder osmosis snapshot-schema?

aktualität: kommt auf die Zeitscheibe an

alle paar Tage eine Auswertung → Daten von DE jedesmal neu laden ist ok
täglich oder öfters → update mit diff-files von planet.openstreetmap.org erscheint sinnvoll

Der Weg ist steinig - aber die Richtung stimmt :wink:

Gruss
walter

wenn man sich die echte Grenze und Buffer in JOSM anschaut, kann man doch die Buffer Grenze mit so einer “Weg vereinfachen” Funktion bearbeiten. An den Stellen, wo die alte Grenze dann die echte Grenze überschneidet, muss mal halt kurz rumzupfen. Sollte aber schneller gehen, als das manuelle vereinfachen

Hallo Dietmar,

supi und vielen Dank, dass Du Dir das Thema “Straßenlistenauswertung” angenommen hast! :slight_smile:

Erst neulich haben wir auf talk-franken heftig diskutiert über die 3143 Straßen von Nürnberg :wink:

Für Winkelhaid (Mittelfranken :slight_smile: hast Du 14 von 92 Straßen ermittelt (=15%) und das stimmt nicht ganz :wink:
Doch der Reihe nach:
Da mir das manuelle Heraussuchen der Gemeindegrenzenrelationen aus Mittelfranken/Oberpfalz zu mühsam war, hab’
ich mir ein quick-and-dirty shell-Skript zusammengewurschtelt:


#!/bin/sh

#district=$1
#location=$2
district=mittelfranken
#district=oberpfalz
#location=Amberg,*
#location=Nürnberg,*
location=Winkelhaid

#wget -q http://download.geofabrik.de/osm/europe/germany/bayern/$district.osm.pbf
osmconvert $district.osm.pbf --out-o5m > $district.o5m
osmfilter $district.o5m --keep="all admin_level= name=$location" > "$location"_boundaries.osm
relationid=`grep "relation id" "$location"_boundaries.osm | sed 's/^[ \t]*<relation id="//;s/".*//'`
#wget -q -O "$location"_boundaries.osm api.openstreetmap.org/api/0.6/relation/"$relationid"/full
boundaries.pl -in="$location"_boundaries.osm -poly > /dev/null
osmconvert -B=polygon."$relationid".poly $district.o5m --out-o5m > "$location".o5m
osmfilter "$location".o5m --keep="type=bridge highway=primary =secondary =tertiary =road =residential =service =trunk =motorway =unclassified =track =path =living_street =footway =pedestrian leisure=park landuse=village_green" --drop-nodes --drop-relations | grep 'k="name"' | sed 's/^[ \t]*<tag k="name" v="//;s/"\/>$//' | sort -u > SV_"$location".txt

Mit mittelfranken.osm.pbf vom 4. Juli 2011 enthält die Liste “SV_Winkelhaid.txt” dann 96 Straßen.
Woher kommt der Unterschied? Winkelhaid besteht aus 2 Gebieten: Winkelhaid selbst und dem kleinen Ungelstetten.
Deine 14 Straßen sind wohl nur dem Ungelstetten entnommen und das große Winkelhaid ging leer aus :frowning:

Bei Nürnberg haben wir auch schon festgestellt, dass wir mehr als 100% “Abdeckung” haben! Das kommt u. a. dadurch zustande,
dass manche Wanderwege/Radwege sowie Kreisstraßen et al. als name benutzen …
IMHO sollte man 100% nur dann anzeigen, wenn man auch getestet hat, ob nicht zuviele (vermeintliche) “Straßen” bzw. “Staßennamen” eingetragen wurden.

Vollautomatisch geht mein Skriptchen leider auch nicht immer, “München” z. B. ist zu kompliziert und Winkelhaid gibt es zweimal,
einmal als Gemeinde und einmal als sog. “gemeindefreies Gebiet”, welches man wieder aussortieren muss.

Ciao,
Frank

moin moin,

wieso hat denn ein “Gemeindefreies Gebiet” den Namen einer Gemeinde? Macht für mich irgendwie keinen Sinn.

Gruss
Walter

Hallo Frank,

zu Winkelhaid: ich erinnere mich, daß die mir beim testen öfters aufgefallen ist. Ein kurzer Check des Polygons, das ich mir aus der Gemeinde-Relation gemacht habe, hat tatsächlich nur den kleineren Teil beinhaltet, die größere, zweite Fläche fehlt.
Eigentlich hatte ich das berücksichtigt und in einer anderen Gemeinde beim testen auch verifiziert, diesen Fall muß ich mir nochmal anschauen, danke.

zu Nürnberg: Die Basis meiner prozentualen Angaben ist immer die Straßenliste. Die in OSM zusätzlich vorliegenden Wege/Straßen mit Namen werden zwar auf der Detailseite angezeigt mit gelbem Hintergrund, werden aber nicht als Basis für die 100% herangezogen. Wenn eine Gemeinde 10 Straßen auf der Liste hat und 8 davon sind auch in osm, dann gebe ich 80% aus, auch wenn noch 5 weitere Straßen in OSM vorliegen.
In dieser Hinsicht hast Du nur nachfragen wollen, wie ich die Ist-/Sollzahlen berechne oder hast Du einen Fehler gefunden?

Den Fehler zu Winkelhaid werde ich zwar in den nächsten Tagen angehen, bin aber heute auf dem Weg zur SOTM in Wien und werde nur abends mal etwas spielen. Aber Anfang nächster Woche sollte ich den Fehler beseitigt haben und werde dann auch eine korrigierte Auswertung bereitstellen.

Viele Grüße

Dietmar

Hi Dietmar,

ich faende es ganz gut im Falle von “ueberschuessige” Strassen, dieses auch gleich auf der Uebersichtsseite zu signalisieren.

Z. B. durch ein “99,5 %” oder durch eine andere Farbe oder durch ein Sternchen.
Damit dem geneigten Leser signalisiert wird “Geh mal auf dir Detailseite, da gibt es noch was zu tun”.

Ciao,
Frank

Hallo Frank,

kann ich gerne ergänzen, kommt aber eigentlich in jeder kleinen Gemeinde vor und lässt sich auch nicht wirklich auf Null bringen :wink:

Viele Grüße

Dietmar

Hallo Dietmar

In der alten Liste von flohoff gab es die Möglichkeit Wege, die nicht in der ‘offiziellen’ Liste, aber in OSM vorhanden waren, in die Straßenliste aufzunehmen aber über einen angehängten Kommentar von der Auswertung auszuschließen. So konnte sowohl der Anteil Straßen in der Liste+OSM als auch Straßen in OSM aber nicht der offiziellen Liste sauber berechnet werden. Ich würde es begrüßen, wenn so eine Funktion auch bei deiner Straßenliste möglich wäre. Wie das implementiert wird, sei es als eigene Liste für Straßen im Gebiet … aber nicht in der Straßenliste oder durch eine Markierung innerhalb der Liste (oder eine andere Methode) spielt erst mal keine Rolle. Das solltest du danach entscheiden, was für dich / deine Auswertung praktischer ist.

In Bonn hatten wir einen ziemlich großen Anteil (10-15%) solcher Wege:

  • Feld-/Wald-Wege mit Namen (Kottenforst, Siebengebirge, …)
  • private Wege mit lokale Namen (z.B. Passagen)
  • Wege in Parks mit Namen (z.B. Botanischer Garten)
  • Wege aus anderen Gemeinden, die die OSM-Grenze überschritten.

Je nach Quelle der Straßenliste kämen noch Wege ohne Unterhaltspflicht (Straßenreinigung) und Wege ohne Anwohner (Müllsatzung, Wahlbezirke), gegebenenfalls auch Wege im Bau oder geplant (Neubaugebiete) dazu.

Die Methode mit dem Kommentar hatte den Vorteil, dass man solche Wege einfach zuordnen konnte. Das geht natürlich auch über Listen mit Unterlisten je Kategorie.

PS: In Bonn (ca. 2700 offizielle Straßen) hatten wir mit unserer Methode beide Werte auf null gebracht.

Edbert (EvanE)

Hallo Frank,

Winkelhaid habe ich jetzt einzeln neu gerechnet (und hat 100% erreicht), nachdem ich den Fehler beseitigt hatte.

Bei anderen Gemeinden mit mehrfachen Polygonen kann es auch noch falsche Auswertungen geben. Diese werden dann Anfang nächster Woche auch beseitigt sein.

Viele Grüße

Dietmar

Hallo Dietmar,

es geschehen noch Zeichen und Wunder … :wink: Vielen, vielen Dank auch von mir für Dein Engagement!

Ich hatte Ende vergangenen Jahres die Strassenlisten aller 116 Gemeinden Luxemburgs aus einer offiziellen Liste erstellt und bei Florian hochgeladen. Dann hatte ich im Wiki Luxemburg alle (!) Gemeinden in eine Status-Tabelle aufgenommen und zum Strassen-Check verlinkt (das kannst Du Dir hier: http://wiki.openstreetmap.org/wiki/WikiProject_Luxembourg/Roads anschauen) - und dann ging die Seite offline :frowning:

Hast Du die Daten für Luxemburg auch übernommen? Sind die Strassenlisten mit den Gemeinde-Relationen dabei? Ich hätte grosses Interesse, dass der Check für Luxemburg wieder Online geht!

Wenn ich irgendwie helfen kann, sag Bescheid. Ich hab die Daten freilich noch (in EXCEL).

Hoffnungsvolle Grüsse
Nils

Hallo Dietmar,

vielen Dank.

Zwei Sachen noch:
Bei Erlangen komme ich auf 992, bei Dir sind es nur knappe 800. Ein Grund koennte sein, das in Deiner Vorlage die viele Strassen
ohne Bindestrich geschrieben sind fuer Erlangen.
Es ist in Deutschland allg. ueblich, dass Strassennamen von Persoenlichkriten mit Bindestrich geschrieben
werden , also Albert-Einstein-Weg.

Burglengenfeld und Schwandorf sind beides Staedte und haben sicher mehr als je 2 Strassen :wink:

Ciao,
Frank

Hallo Frank,

ich habe die Listen kurz vor Florians Website offline zu einem Teil heruntergeladen und diese jetzt bei mir importiert. Die Liste von Erlangen entspricht also dem Januar Stand, wie sie damals dort importiert und evtl. nachgepflegt wurde.

Ich nehme als Basis aber die genaue Schreibweise der Listen und wenn dort die Straßen mit Persönlichkeitsnamen ohne Bindestrich geschrieben werden, nehme ich diese Schreibweise zum Vergleich ran.
Wenn vor Ort eine andere Schreibweise auf den Schildern ist, könnte die Liste der Stadt ja geändert werden.

Die Pflege der Straßenlisten habe ich noch offen, aus zwei Gründen:

  1. ich erhoffe mir von Florian eine Zusendung der Listen aus seinem früheren Wiki-System. Dort waren bei einigen Städten/Gemeinden noch Kommentare angegeben worden, die wichtig sein könnten.
  2. ich bin mir noch nicht sicher, wo die Straßenlisten dann gepflegt werden sollen. Mein Vorschlag ist, diese im OSM Wiki reinzustellen. Bei Städten, die schon eine wiki-Seite haben, als eine Unterseite, bei den kleineren z.B. auf einer (Land)kreis-weiten Seite.

Zur Burglengenfeld und Schwandorf: es hat offenbar damals jemand für diese beiden (und es gibt noch mehr Dummy-Listen) nicht ernsthafte Straßenlisten importiert. Vermutlich nur, weil es eine grafische Darstellung pro Bundesland gab es das Gemeinde/Stadtgebiete sollte wohl farblich dargestellt werden.

Wenn die vorgenannten Punkte geklärt sind, könnten diese Listen entfernt werden, das wäre wohl das beste.

Viele Grüße

Dietmar

Hallo Nils,

ich hatte damals die größere Anzahl der Import zu den Luxemburger Gemeinden mitbekommen.
Beim Download ca. am 19.1. habe ich nur einen Teil heruntergeladen, bei Deutschland und ca. Hessen (lief alphabetisch durch) hatte ich abgebrochen, weil ich nicht einfach so die komplette Website runterladen wollte, war aber ein Fehler im nachhinein ;(
Luxemburg ist leider nicht beim Download dabei gewesen.

Wenn Du die Listen auf Florians-Website nur im Zustand hattest wie bei dir vor Ort in Excel, könnten wir überlegen, ob wir die Straßenlisten einfach ins osm wiki reinstellen (wenn Du es eilig hast), z.B. in der Struktur wie auf der Seite, die Du angegeben hattest, also Canton-weise.

Wenn Du willst, kannst Du mir die Excel-Datei mal zuschicken, ich schaue dann mal, wie ich die per Skript erstellen kann, wenn Du willst. Mailadresse: strassenliste at diesei.de

Viele Grüße

Dietmar

Edit: die Gemeinderelationen fehlen natürlich, weil ich ja die Listen von Florians Website nicht habe.