Bedarf in Extrakt DE + 50 km

Ja, bitte. Wie groß ist die Datei etwa?

softcake

Die Datei ist ca. 2.4GB gross, da ich sie nur schwach komprimiert habe. War ja bisher auch nicht zum download gedacht, sondern nur zum taeglichen auspacken - updaten und wieder einpacken. Aber mal zum testen verlinke ich sie mal vorerst, germany+.osm.gz Ausgeschnitten ist sie nach dieser BBox als .osm Linienzug: germany+.osm

Waere aber auch nicht so tragisch den Prozess auf ein .bz2 umzustellen, wuerde nur das Einspielen des taeglichen Changefiles um ein gutes Stueck laenger dauern. Werde mal morgen testen wie stark sich damit die Dateigroesse reduzieren lassen wuerde und um wie viel laenger ein .bz2 wirklich dauert.

Markus

Spricht denn etwas gegen das pbf-Format? Ich kenne deine Toolchain nicht, aber der splitter frisst pbf und mit osmosis kannst du auch das pbf aktuell halten. Vorteil wäre, dass die Datei kleiner wird und die Verarbeitung deutlich schneller.

Wenn du kein PBF benutzen kannst, würde ich bevor ich bzip2 nehme, inzwischen lieber xz (XZ Utils sollte aber bei allen neueren Linuxdistributionen inzwischen als Standard mit dabei sein und wer Windows hat, für den gibt es http://7-zip.org) auf niedriger Kompressionsrate nehmen. Ich hatte mal für mich einen Test gemacht, als sie noch lzma-utils hießen und da hatte er bei “lzma -2” schneller als bei bz2, von der Leistung her aber damit quasi identisch, gepackt. Für höhere Kompressionsraten steigen dann aber die RAM-Anforderungen, deshalb sollte man da mal die Manpage lesen, auch wenn die hier aus meiner Sicht nicht zur Debatte stehen.

Das wäre eher eine schlechte Idee. bz2, gz und pbf kann man direkt mit osmosis verarbeiten. Das dürfte wohl eine der Hauptanwendungen sein, die genutzt wird, um den Ausschnitt zurecht zu schneiden. Wenn man die Datei aber erst einmal entpacken muss, hat man einen Schritt mehr und muss die xml-Datei irgendwie auf der Platte unter bringen.

Nicht unbedingt. Du kannst die Daten ja vom xz direkt nach osmosis pipen und dort von stdin lesen. Das ist bei bz2 bedeutend schneller als die interne Java-Implementierung und verbraucht keinen Platz.

bye
Nop

PS: Heh, moment mal, jetzt fang ich als Windows-User schon an Linux-Tipps zu geben. Ganz klar zuviel Karten gebaut… :slight_smile:

Ich verwende allerdings nicht osmosis, sondern osmchange um die Updates einzuspielen. Und ich glaub das verträgt (noch?) kein pbf, von daher würde ich gerne bei plane .osm + irgendein Packer bleiben. Ich bin grade noch dabei die verschiedenen Packer da dran loszulassen, aber lzma -2 scheint recht flott und gut zu packen. Die Datei ist damit auf ca. 1,5GB geschrumpft und das in ca. 37 Minuten. Die anderen sind noch nicht fertig. Bei lzma -9 wird es wohl wirklich zu langsam, der wird wohl so um die 9 Stunden brauchen bis er fertig ist. Die beiden bzip2 die ich gestartet habe sind auch noch nicht fertig, bzip2 -2 wird ca. 90 Minuten brauchen, bzip2 -9 ca. 110 Minuten. Die sind aber momentan auch noch nicht fertig. Die Dateigrössen werde ich mir dann nachher nochmal ansehen, aber wenn sonst nichts dagegen spricht werde ich wohl auf lzma -2 umstellen, es sei denn jemanden würde ein .xz wesentlich höheren Aufwand machen als ein .bz2 oder .gz

Markus

Ja, das hat keine PBF-Unterstützung, gerade mal nachgesehen.

Noch als Hinweis: “lzma” war das alte Kommando der lzma-utils, da kann es sein das intern ein paar Bytes anders sind, weil soweit ich mich erinnere haben die da noch was am Dateiheader geändert. Jetzt wurde das von “xz” als Kommando abgelöst. Eigentlich kann DOS schon seit Urzeiten Pipes, wird höchstens nicht besonders effizient sein, aber da gibt’s dann auch wie bei den anderen Packern ein “xzcat”. “xz -2” ist ja nur ein Shortcut, wenn du möchtest, kannst du auch an den Detailparametern des Packers spielen, die stehen wie üblich in der Manpage. Lese da auch gerade das die schneller Presets bis “xz -3” gehen.

Edit:

Mittlerweile habe ich meine Images/Extrakte aus OSM in ein eigenes Verzeichnis zusammengefasst. Unter http://140.78.94.22/osm/ ist jetzt der taeglich aktualisierte Deutschlandextrakt mit xz komprimiert vorhanden. Weiters sind dort auch die Polygonzuege nach denen ich ausschneide und die All-In-One Kartenimages fuer Garmin Navis, sowie meine Wanderweg-Layer Erweiterung dazu.

Markus

Vielen Dank Markus. Kannst Du die Nutzung im Auge behalten? Ich empfand die Nachfrage als sehr gering, weswegen ich es gelassen habe. Es freut mich aber, dass Du die bereit stellst. Vor allem die AIO Karten sind ja momentan sonst schwer zu bekommen.

Hab eben ein bisserl im Logfile des webservers gestoebert. Die Nachfrage nach dem OSM-Extrakt duerfte, nach der Anzahl der Downloads, wirklich recht gering bis kaum vorhanden sein. Meiner Vermutung nach haben die wenigen, die solch einen Extrakt abweichend von den geofabrik Extrakten brauchen auch die Moeglichkeit diesen selber herzustellen.

Bei den AIO-Images gibt es so ca. eine Handvoll downloads pro Tag. Da bleibt von der Serverkapazitaet/Bandbreite noch jede Menge Spielraum nach oben.

Markus

+1

+1

Habe gerade versucht, mit germany+.osm (16GB) einen kleinen Kartenausschnitt zu erstellen. Map_Composer bringt mir einen OutOfMemory-Fehler. Vermute mal, die Datei ist für das Progamm zu groß.

softcake

Die ist nicht für den Composer zu groß, aber du musst den Composer halt mit mehr Arbeitsspeicher starten lassen.

In der start.bat ist folgendes angegeben: java -Xmx1600M -cp map_composer.jar;…

Bei mehr als 1600 kommt die Fehlermeldung “Could not reserve enough space for object heap”

Das Programm läuft auf XP Pro, 4GB RAM

softcake

Für mehr RAM braucht man ein 64bit-System :wink: Da wirst du dann wohl einen Bereich aus germany+ ausschneiden müssen…

Ok, damit wären wir bei meinem nächsten Problem. Habe vorhin schonmal versucht, mit Osmosis einen Bereich auszuschneiden. Ich bekomme jedoch das Programm aus dem Batch-File nicht zum laufen!

Im Moment verwende ich Osmosis v0.38 mit dem Map_Composer. Die Batch-Beispiele, welche man im Internet findet, funktionieren nicht. Hier der Aufruf:
*
SET java=C:\Programme\Java\jre6\bin\java.exe -Xmx1600M
SET osmosis_path=C:\works\Programme\Osmosis 0.38
SET osmosis=%java% -cp “%osmosis_path%\lib\default\osmosis-core-0.38.jar”
SET input_osm_file=C:\works\Programme\Map_Composer\Input\input.osm
SET output_osm_file=C:\works\Programme\Map_Composer\Input\output.osm*

*%osmosis% --rx file=%input_osm_file% --bounding-box left=12.1 bottom=50.1 right=12.2 top=50.2 --wx %output_osm_file%
*

Im Augenblick bekomme ich einen Error “Unrecognized Option --rx”

Eventuell kann hier ja mal jemand den Inhalt eines funktionierenden Batch-Files für die v0.38 posten? Mir wäre langsam mal nach einem Erfolgserlebnis…

Gruß, softcake

Was interessiert mich Norddeutschland, wenn ich da noch nie im Leben war?

Interessanter wäre ein Dienst, wo man mit einen Ausschneidewerkzeug ein Quadrat oder Kreis um seinen Wohnort ziehen kann, meinetwegen auch wie bei JOSM entlang eines Tracks mit xkm Umkreis das dann eine fix und fertige Garmin Mapsource fähige Karte ausspuckt, wo man davor auch noch definieren kann, was man dabei haben will und was nicht. z.B. keine Umrisse von Gebäude oder Flächen wie Wälder, keine POIs die mich nicht interessieren um den Kartenaufbau und die POI Suche zu verbessern. Ob Routenfährig oder nicht ,mit Höhenlinien usw. Nach dem absendeknopfdruck beginnt sofort der Download.

Lokal auf dem Computer dann noch ein Programm, mit dem man mit einem doppelklick seine Daten bei Mapsource aktualisieren kann.

Ich denke für sowas gäbe es Bedarf :smiley: und nicht nach extrakten wo man selbst stundenlang hand anlegen muss.

Da wären wir bei einem meiner Anliegen:

Könnte bitte einer der Windows-Profis das Programm pbftoosm für Windows übersetzen? Das würde vielen helfen, die Osmosis unter Windows nicht recht zum Fliegen kriegen. Außerdem läuft es für solche Spezialfälle (Bereich aus einer PBF-Datei ausschneiden) einiges schneller.

Ich hab schon probiert, pbftoosm mit MinGW zu compilieren, es aber nicht geschafft. :frowning: Es scheitert irgendwie an der Bibliothek für lzip.
http://wiki.openstreetmap.org/wiki/Pbftoosm

Hallo,
also ich nutze Osmosis 0,39 und schneide die europe.osm.pbf mit folgenden Befehl.

“F:\neuenOrdner\bin\osmosis.bat” --rb europe.osm.pbf --bb bottom=50.6 left=13.6 top=51.3 right=15.5 right=16.6 clipIncompleteEntities=yes idTrackerType=BitSet --wx grosser_ausschnitt.osm

@softcake
Also ganz einfach man entpackt Osmosis in einen “neuenOrdner” dorthin kopiert man dann die europe.osm.pbf
Jetzt erstellt man sich eine neue *.bat Datei in diesem “neuenOrdner” mit oben aufgeführter Zeile
Nun die *.bat Datei ausführen und man erhält einen Ausschnitt den man weiterverarbeiten kann.
Unbedingt Osmosis 0,39 verwenden die verarbeitet *.pbf meist ohne Fehler.
Ich nutze die Daten von der Geofabrik aber es klappt nicht immer jedes File, manchen Tag ist irgendwie der Wurm drin.

Gruß Jörg