Wegelängen (highway=...) in DE

Marqqs · 2011-11-22T17:01:01.000Z

viw:

Ein Umwandeln in XML ist aber sehr viel zeitaufwendiger. Weil viel mehr Daten erzeugt werden müssen.

Genau daran liegts. Ich hab grad mal selber getestet - bin ja neugierig.
Verwendet habe ich einen 64-Bit-Linux-Rechner, das Programm habe ich mit der üblichen Optimierung übersetzt (Option “-O3”).


$ time ./osmconvert germany.pbf --out-osm >/dev/null

real    1m39.356s

Ist gar nicht mal so langsam, trotz dass einige GB XML-Code generiert werden. Es gibt übrigens auch die Option “–out-none”, dann werden gar keine Daten geschrieben und man spart sich “/dev/null”. Das wäre aber ein unfairer Vorteil für osmconvert, denn die Osmium-Anwendung macht ja etwas mit den gelesenen Daten.

Realistischer ist ein Vergleich mit der osmconvert-Statistikfunktion, denn die tut auch nicht viel anderes als die Osmium-Anwendung, nämlich alle Daten zu lesen und nach verschiedenen Kriterien auszuwerten.


$ time ./osmconvert germany.pbf --out-statistics
timestamp min: 2005-07-05T02:14:17Z
timestamp max: 2011-11-21T19:59:55Z
lon min: -20.0712330
lon max: 25.2241302
lat min: 43.4945365
lat max: 60.2200233
nodes: 86720924
ways: 12750288
relations: 199905
node id min: 1
node id max: 1511888560
way id min: 92
way id max: 137876472
relation id min: 330
relation id max: 1857338

real    0m23.058s

Gehen wir noch einen Schritt weiter, denn intern gepackte .pbf-Dateien sind nicht wirklich geeignet für solche Auswertungen. Sinnvollerweise würde man eine solche gepackte PBF-Datei in eine ungepackte umwandeln oder das in diesem Fall platzsparendere Format o5m verwenden. Also, erstmal ein passenderes Format wählen:


$ time ./osmconvert germany.pbf -o=germany.o5m

real    0m43.959s

Und jetzt das Ganze nochmal laufen lassen:


$ time ./osmconvert germany.o5m --out-statistics
timestamp min: 2005-07-05T02:14:17Z
timestamp max: 2011-11-21T19:59:55Z
lon min: -20.0712330
lon max: 25.2241302
lat min: 43.4945365
lat max: 60.2200233
nodes: 86720924
ways: 12750288
relations: 199905
node id min: 1
node id max: 1511888560
way id min: 92
way id max: 137876472
relation id min: 330
relation id max: 1857338

real    0m13.700s

So, jetzt ist es aber wirklich schnell.

kellerma · 2011-11-22T17:42:45.000Z

Marqqs:

Und jetzt das Ganze nochmal laufen lassen:


$ time ./osmconvert germany.o5m --out-statistics
timestamp min: 2005-07-05T02:14:17Z
timestamp max: 2011-11-21T19:59:55Z
lon min: -20.0712330
lon max: 25.2241302
lat min: 43.4945365
lat max: 60.2200233
nodes: 86720924
ways: 12750288
relations: 199905
node id min: 1
node id max: 1511888560
way id min: 92
way id max: 137876472
relation id min: 330
relation id max: 1857338

real    0m13.700s

So, jetzt ist es aber wirklich schnell.

Naja, eher ein Vergleich Äpfel mit Aprikosen

Wenn, dann müste man zuminderst eine Ausgabe generieren, die der Intention der Ursprungsaufgabe näher kommt, z. B.


osmcovert mittelfranken.osm.pbf --out-o5m > mittelfranken.o5m
osmfilter mittelfranken.o5m --keep="highway" --drop-nodes --drop-relations | grep "k=\"highway\"" | sed 's/^[ \t]*<tag k="highway" v="//;s/".*//' | sort -n | uniq -c | sort -n > alle_strassen.txt

Dann kann man zumiderst mit der Ausgabe etwas anfangen, sprich nach Fehler/Auffälligkeiten suchen.

Marqqs · 2011-11-22T18:09:44.000Z

kellerma:

Naja, eher ein Vergleich Äpfel mit Aprikosen

Einverstanden.
Ich versuchs mal Apfel-intern, sagen wir, es ist dann ein Vergleich zwischen “Golden Delicious” und “Granny Smith”:


$ time ./osmfilter germany.o5m --drop-nodes --drop-relations --out-count=highway
    1426976    track
    1367527    residential
     693176    service
     615269    footway
     398333    path
     238062    unclassified
     192312    secondary
     175365    tertiary
      88747    cycleway
      83890    steps
      82573    primary
(...)
          1    traboule
          1    track and path
          1    track; cycleway
          1    track; disused
          1    track; footway; track
          1    track;path
          1    track;service
          1    tram
          1    weighing_machine

real    0m11.254s

Der einzige Unterschied, der jetzt noch bleibt, ist die Längenberechnung. Die kostet Rechenzeit - je nachdem, wie genau man sie ausführt (mit Berücksichtigung der Erdkrümmung oder ohne, als Näherung oder exakt, usw.). Allerdings hält sich diese Rechenzeit bei weniger als 13 Mio. ways auch in Grenzen.

Aber wir sollten besser den Obstladen wieder beiseite räumen und Platz für die Diskussion über die Weglängen-Statistik lassen.
Vielleicht kann man diese Statistik für regionale Vollständigkeitsuntersuchungen verwenden?

Und zum Thema Osmium: Ich halte es für einen genialen Baukasten, aus dem man sich relativ leicht genau das bauen kann, was man braucht. Osmium ist bezüglich der Geschwindigkeit sicher nicht optimal, braucht es aber auch nicht sein, denn der Schwerpunkt liegt ganz woanders.

drolbr · 2011-11-22T18:34:15.000Z

chris66:

Fußweg->footway (overpass API kommt mit Umlaut nicht zurecht?)

Eigentlich schon. Allerdings ist bei mir schon beim Apache kaputtes UTF8 angekommen:
[22/Nov/2011:15:27:42 +0100] query string: /api/xapi?[highway=Fu%E2%96%80weg], user agent: Wget/1.12 (cygwin)
[22/Nov/2011:15:29:23 +0100] query string: /api/xapi?[highway=Fu%E2%94%9C%C6%92weg], user agent: Wget/1.12 (cygwin)

Das müsste eigentlich
/api/xapi?*[highway=Fu%C3%9Fweg]
heißen. Keine Ahnung, was da bei Cygwin passiert. Da die obigen gültige (aber eben in UTF8 anders belegte) Zeichenketten sind, kann ich das auf Server-Seite auch nicht mehr korrigieren.

SunCobalt · 2011-11-22T18:40:00.000Z

spricht hier jemand fliessend html? Ich bräuchte eine Seite in 3 Bausteinen.

Baustein 1
-Überschrift: OSM Highway Length in country/region

irgendwie noch geschickt “in km”
Tabellekopf mit den Spalten “Date” sowie genau andersrum (von hinten nach vorne) services, tertiary_link, platform, secondary_link, raceway, primary_link, trunk_link, steps, construction, proposed, bridleway, pedestrian, motorway_link, trunk, road, living_street, motorway, cycleway, primary, footway, service, secondary, path, tertiary, unclassified, residential, track
^^ist vielleicht etwas viel. Ich würd vielleicht die *-link, platform und raceway weglassen wenns blöd aussieht

Baustein 2

Den String, den ich unter den Baustein 1 drunterschreiben muss, wenn ich die aktuellen (monatlichen) Werte anfügen will

Baustein 3

den Abschluss der html Seite

Ich will es dann so automatisieren, dass
1.) Berechnung → Baustein 1 + Baustein 2 + Baustein 3 → upload als country.html
2.) Baustein 1 neu = Baustein 1 alt + Baustein 2

kellerma · 2011-11-22T18:42:45.000Z

Ganz OT:

SunCobalt:

BS
Linux suncobalt 2.6.32-5-amd64 #1 SMP Tue Jun 14 09:42:28 UTC 2011 x86_64 GNU/Linux

Ah, Debian 6 mit fehlenden Kernelupdates

SunCobalt · 2011-11-22T20:44:00.000Z

kellerma:

Ganz OT:

SunCobalt:

BS
Linux suncobalt 2.6.32-5-amd64 #1 SMP Tue Jun 14 09:42:28 UTC 2011 x86_64 GNU/Linux

Ah, Debian 6 mit fehlenden Kernelupdates

Ich hatte da mal ein einschneidendes Erlebnis mit Kernel-Updates

Mein letzter Post hat sich erledigt. Ich habs selber hinbekommen. So in etwa soll es später aussehen.
http://length.osm4people.org/length.html

Wenn jemand ein Verbesserungsvorschlag hat, freue ich mich auf diesen Zusammen mit den Umsetzungshinweisen

Marqqs · 2011-11-22T21:42:04.000Z

SunCobalt:

Wenn jemand ein Verbesserungsvorschlag hat, freue ich mich auf diesen Zusammen mit den Umsetzungshinweisen

Mir gefällt die Idee. Wie ist das geplant? Je Monat eine Zeile, so dass man die Entwicklung sehen kann?
Später lassen sich daraus Grafiken machen, aber das wär Fleißarbeit.

Was mir grad noch aufgefallen ist: die Zahlen würd ich rechtsbündig schreiben. Sind aber noch Ersatzwerte, oder (überall “704.892”)?
Dass sie eine Tausendertrennung haben, find ich gut.

fkv · 2011-11-22T23:11:08.000Z

ajoessen:

Na wenigstens tauchen die dann nicht in der Mapnik-Karte auf

Die Namen auch nicht?

ajoessen · 2011-11-23T06:14:37.000Z

fkv:

ajoessen:

Na wenigstens tauchen die dann nicht in der Mapnik-Karte auf

Die Namen auch nicht?

Wäre auszuprobieren

Gruß,
ajoessen

_i · 2011-11-23T06:35:10.000Z

Hey vielen Dank erstmal Suncobalt Jemand anderes war auch schon so nett die Auswertung für Belgien zu machen, die mich interessiert hat. Das ist eigentlich eine nette Kennzahl, wenn ich es auch nicht einfach darauf runterbrechen würde.

chris66 · 2011-11-23T07:05:29.000Z

Roland Olbricht:

chris66:

Fußweg->footway (overpass API kommt mit Umlaut nicht zurecht?)

Eigentlich schon. Allerdings ist bei mir schon beim Apache kaputtes UTF8 angekommen:
[22/Nov/2011:15:27:42 +0100] query string: /api/xapi?[highway=Fu%E2%96%80weg], user agent: Wget/1.12 (cygwin)
[22/Nov/2011:15:29:23 +0100] query string: /api/xapi?[highway=Fu%E2%94%9C%C6%92weg], user agent: Wget/1.12 (cygwin)
Das müsste eigentlich
/api/xapi?*[highway=Fu%C3%9Fweg]
heißen. Keine Ahnung, was da bei Cygwin passiert. Da die obigen gültige (aber eben in UTF8 anders belegte) Zeichenketten sind, kann ich das auf Server-Seite auch nicht mehr korrigieren.

Beim ersten Versuch hab ich das “ß” ganz normal in den Command eingegeben, beim zweiten Versuch händisch in “ÃŸ” gewandelt.
Vielleicht spielt auch noch 'ne Rolle, dass Win-CMD standardmäßig CP437 und nicht iso nutzt.

SunCobalt · 2011-11-23T07:23:18.000Z

Marqqs:

Mir gefällt die Idee. Wie ist das geplant? Je Monat eine Zeile, so dass man die Entwicklung sehen kann?

ja, für alle Länder, die bei odbl.de sind (nicht die specials) UND die nicht erst mit einem Polygon zurecht geschnitten werden müssen, soll es Daten für je Nov 2006, 2007, 2008, 2009, 2010 und ab Nov 2011 dann monatlich eine neue Zeile unten dran geben. Das wären nach momentanen Stand
africa.osm.pbf canary_islands.osm.pbf france.osm.pbf ireland.osm.pbf netherlands.osm.pbf slovakia.osm.pbf
albania.osm.pbf china.osm.pbf gaza.osm.pbf israel_and_palestine.osm.pbf norway.osm.pbf slovenia.osm.pbf
asia.osm.pbf croatia.osm.pbf germany.osm.pbf italy.osm.pbf philippines.osm.pbf south-america.osm.pbf
australia-oceania.osm.pbf czech_republic.osm.pbf great_britain.osm.pbf kosovo.osm.pbf spain.osm.pbf
austria.osm.pbf denmark.osm.pbf greece.osm.pbf latvia.osm.pbf planet-latest.osm.pbf sweden.osm.pbf
belarus.osm.pbf estonia.osm.pbf haiti-and-domrep.osm.pbf lithuania.osm.pbf poland.osm.pbf switzerland.osm.pbf
belgium.osm.pbf ethiopia.osm.pbf hungary.osm.pbf luxembourg.osm.pbf portugal.osm.pbf turkey.osm.pbf
europe.osm.pbf iceland.osm.pbf monaco.osm.pbf romania.osm.pbf turkmenistan.osm.pbf
bosnia-herzegovina.osm.pbf faroe_islands.osm.pbf india.osm.pbf montenegro.osm.pbf russia-european-part.osm.pbf ukraine.osm.pbf
bulgaria.osm.pbf finland.osm.pbf iraq.osm.pbf morocco.osm.pbf serbia.osm.pbf

Marqqs:

Später lassen sich daraus Grafiken machen, aber das wär Fleißarbeit.

Was mir grad noch aufgefallen ist: die Zahlen würd ich rechtsbündig schreiben. Sind aber noch Ersatzwerte, oder (überall “704.892”)?
Dass sie eine Tausendertrennung haben, find ich gut.

Ja, die Werte sind Dummy-Werte um den html String darzustellen, zu dem die Werte hinzugefügt werden sollen. Mit dem Rechtsbündig muss ich mal schauen. Ich sehe gerade, dass das Total noch fehlt.

SunCobalt · 2012-04-09T08:17:24.000Z

So, habs fertig. Wird spanned, was alles wegfällt
http://length.osm4people.org/germany.html

Ist in etwas so wie ich es erwartet habe. Primary und Motorway ändern sich kaum noch in DE, Zuwächse gibt es vor allem bei Track, Path und Services und ein wenig bei Residential

Eine index.html hab ich noch nicht, aber directory browsing ist aktiviert
http://length.osm4people.org/

trekki · 2012-04-10T06:41:18.000Z

Interessant finde ich birdelway auf http://length.osm4people.org/china.html : die Länge ist fallend.

mdk · 2012-04-10T07:52:14.000Z

Nun in einigen Regionen wird bridleway gerne als Zufahrtweg zu Bauernhöfen verwendet, obwohl ich da eher track oder service verwenden würde. Vielecht sind es entsprechende Korrekturen.

extremecarver · 2012-04-10T16:07:22.000Z

Bridleway, naja das ist halt ein highway Type der überall anders benutzt wird, und keiner weiß wirklcih was er bedeutet… (in UK etwa etwas ganz anderes wie in DE). Schon gut falls bridleway aussterben würde (oder zumindest nix als erlaubt/unerlaubt angenommen würde).

Interessant wäre das ganze vor allem als graphische Darstellung. Dann könnte man recht gut erkennen wie genau die highways in einem Land schon getagged sind — bzw zu welchem Zeitpunkt was getagged wurde… (etwa tertiaries nehmen noch zu, primary/secondary stagnieren schon fast (fast weil die Unsitte um sich greift Fahrspuren usw als separaten highway zu zeichnen, anstelle eines “Linienbündels”).

Bzw Kurven zweier Länder gegeneinanderstellen. Dann könnte man recht schnell erkennen um wieviel Jahre Land X noch hinter Land Y oder Europa hinterherhängt…

EvanE · 2012-04-10T16:46:01.000Z

extremecarver:

Bridleway, naja das ist halt ein highway Type der überall anders benutzt wird, und keiner weiß wirklcih was er bedeutet… (in UK etwa etwas ganz anderes wie in DE). Schon gut falls bridleway aussterben würde (oder zumindest nix als erlaubt/unerlaubt angenommen würde).
…

In meiner Gegend (Kottenforst/Siebengebirge) existieren ausgewiesene Reitwege mit dem Gebotsschild weißer Reiter auf blauem Grund. Das liegt daran, dass diese beiden Gebiete Naturparks sind, auf denen das Reiten auf anderen Wegen nicht gestattet ist. Die Ausführung reicht von einer unbefestigten Reitspur neben einem befestigten Weg (bridleway=track?) über Reitwegen parallel zu normalen Wegen bis zu unabhängig von anderen Wegen geführten Reitwegen. Von daher wird highway=bridleway gebraucht und auch verwendet.

Allerdings ist die Bedeutung des deutschen Gebotsschildes anders als die UK Definition von Bridleway. Im Gegensatz zum UK-Bridleway wären Fußgänger und Radfahrer auf deutschen Reitwegen nur mit Zusatzbeschilderung erlaubt.

Die Frage bleibt, ob man eine spezifische Auslegung für Deutschland definiert, wie es bei anderen Weg-Typen ja durchaus üblich ist. Oder ob man bis auf die Ausnahmen foot=no und bicycle=no entsprechend der Bedeutung des deutschen Gebotsschildes ergänzt.

PS:
Auf der deutschen Wiki-Seite, sollte diese abweichende Rechtslage mal ergänzt werden.
Die jetzige ausschließliche Übersetzung der britischen Rechtslage verwirrt mehr als das sie nützt.

Edbert (EvanE)

maxbe · 2012-04-10T17:25:00.000Z

Ich hab mal die Änderung in Europa 2009 bis 2012 verglichen. Ich glaube Mitteleuropa ist fast fertig…
Die Zahlen geben die prozentuale Änderung der Gesamtlänge an (DE hat z.B. 1.49 mal so viele Straßen wie vor 3 Jahren). Kosovo ist nicht dabei, die haben 1103% Änderung und das hätte die anderen so blass aussehen lassen.

SunCobalt · 2012-04-10T19:36:04.000Z

maxbe:

Kosovo ist nicht dabei, die haben 1103% Änderung und das hätte die anderen so blass aussehen lassen.

Die haben irgendwelche Daten importiert und dabei jeden Weg, den mal irgendjemand lang lief, als highway=road importiert. Jesus muss auch dabei gewesen sein, denn es gingen auch einige Wege übers Wasser. Das fliegt bald wieder raus (nicht odbl-kompatibel). Sieht man sehr schön hier an den “roads”
http://length.osm4people.org/kosovo.html
oder hier auf der Karte
http://www.openstreetmap.org/?lat=42.706&lon=21.058&zoom=10&layers=M