Hallo,
gibt es im Moment ein generelles Problem mit den diffs, oder funktioniert das nur bei mir nicht?
Ich habe ein kleinen Kartenausschnitt (180 MB pbf), extrahiert aus dem kompletten planet.pbf von planet.osm.org. Leider passiert immer folgendes:
osmosis --rri workingDirectory="planet/ffm" --simc --rb "planet/ffm.pbf" --ac --bb left=8.2703369431761 top=50.335133048381 right=8.9796630568239 bottom=49.884052946378 completeWays=yes completeRelations=yes --b bufferCapacity=10000 --wb "planet/ffm.pbf.new" compress=none
[Download aller notwendigen diff-files]
[Schreiben der afn*, afw*, afr* Dateien]
Nov 5, 2013 3:32:47 AM org.openstreetmap.osmosis.core.pipeline.common.ActiveTaskManager waitForCompletion
SEVERE: Thread for task 1-rri failed
org.openstreetmap.osmosis.core.OsmosisRuntimeException: An output error has occurred, aborting.,
at org.openstreetmap.osmosis.core.store.DataPostbox.checkForOutputErrors(DataPostbox.java:160),
at org.openstreetmap.osmosis.core.store.DataPostbox.complete(DataPostbox.java:330),
at org.openstreetmap.osmosis.set.v0_6.impl.DataPostboxChangeSink.complete(DataPostboxChangeSink.java:54),
at org.openstreetmap.osmosis.core.sort.v0_6.SortedDeltaChangePipeValidator.complete(SortedDeltaChangePipeValidator.java:46),
at org.openstreetmap.osmosis.set.v0_6.impl.ChangeSimplifierImpl.complete(ChangeSimplifierImpl.java:105),
at org.openstreetmap.osmosis.core.sort.v0_6.SortedHistoryChangePipeValidator.complete(SortedHistoryChangePipeValidator.java:47),
at org.openstreetmap.osmosis.set.v0_6.ChangeSimplifier.complete(ChangeSimplifier.java:59),
at org.openstreetmap.osmosis.core.sort.v0_6.ChangeSorter.complete(ChangeSorter.java:76),
at org.openstreetmap.osmosis.replication.v0_6.ReplicationDownloader.processComplete(ReplicationDownloader.java:116),
at org.openstreetmap.osmosis.replication.v0_6.BaseReplicationDownloader.runImpl(BaseReplicationDownloader.java:311),
at org.openstreetmap.osmosis.replication.v0_6.BaseReplicationDownloader.run(BaseReplicationDownloader.java:381),
at java.lang.Thread.run(Thread.java:679)
Was ich dazu sagen kann:
Es gibt keine Probleme mit Schreibrechten oder nicht ausreichendem Speicher. Der output oben kommt von osmosis 0.42. 0.43 verhält sich gleich, 0.39 hängt sich einfach auf.
Prozessieren der Datei ohne updates funktioniert ohne Probleme. Daily oder hourly diffs zu benutzen macht keinen Unterschied.
Hat jemand von euch einen Tip was ich tun kann?
ist die working-directory wirklich planet/ffm ? also die directory ffm in planet? wenn ja, was steht drin? die pbf-Files stehen nämlich in planet und nicht in planet/ffm, was an sich nicht schlimm ist.
Am Anfang fehlt nichts, außer der normale Anfangs-Output:
Nov 5, 2013 11:38:15 AM org.openstreetmap.osmosis.core.Osmosis run
Nov 5, 2013 11:38:19 AM org.openstreetmap.osmosis.core.Osmosis run
INFO: Preparing pipeline.
Nov 5, 2013 11:38:20 AM org.openstreetmap.osmosis.core.Osmosis run
INFO: Launching pipeline execution.
Nov 5, 2013 11:38:20 AM org.openstreetmap.osmosis.core.Osmosis run
INFO: Pipeline executing, waiting for completion.
Am Ende kommen dann noch die Folgefehler der nachfolgenden Schritte, von --rb, --ac --bb und -r, die muss ich aber erst noch reproduzieren bevor ich sie posten kann
Ja, ich habe aus dem planet-daily pbf von bbbike.org Ausschnitte gemacht, von diesen lassen sich viele update, einige wenige haben diesen Fehler.
Mit denselben Ausschnitten aus dem aktuellen planet.pbf von planet.osm.org funktioniert es mit keinem.
Ja, die Verzeichnisse passen. Dort sind configuration.txt und state.txt mit dem üblichen Inhalt. Das passt auch alles.
# The URL of the directory containing change files.
baseUrl=http://planet.openstreetmap.org/replication/day
# Defines the maximum time interval in seconds to download in a single invocation.
# Setting to 0 disables this feature.
maxInterval = 0
Nein, osmosis 0.42 ist direkt die heruntergeladene Version.
Gruß, Jan
In diesem Falle dürfte ich aber bei weitem nicht der einzige mit diesem Problem sein wenn die Dateien auf dem (Haupt-)Server kaputt sind. Der md5-Hash von beiden getesteten planet.pbf Files hat gestimmt, da gibt es also schonmal keinen Download-Fehler. Die diff’s lassen sich nicht überprüfen, aber ich merke auch keinen Unterschied zwischen daily und hourly diffs.
Welcher planet.osm.pbf? Der letzte, der aktuell verfügbar ist, stammt vom 10. Oktober; zwischenzeitlich lag aber ein kaputter Planet auf dem Server, der inzwischen wohl gelöscht wurde.
PS. Für den Ausschnitt 8.2703369,49.8840529,8.9796631,50.335133 würde es auch ein DE-Extrakt von der Geofabrik oder sogar nur Hessen tun.
Genau, planet.pbf von planet.osm.org vom 10.10. bzw. planet.daily.osm.pbf von bbbike.org vom 27.10.
Richtig, das war aber auch nur ein kleines Beispiel, das sich halbwegs schnell bearbeiten lässt zum Testen.
Ich habe aber gerade einen Verdacht: Es kann sein, dass die Ausschnitte von der uralten osmosis-Version aus dem debian-Repository gemacht worden sind und
dabei mit den 64Bit-Ids Blödsinn passiert ist. Ich probier das mal aus und melde mich heute abend nochmal. Danke schonmal für die Hilfe!
Ein kurzes Update:
Es lag scheinbar nicht an der Osmosis-Version. Im Augenblick scheint es halbwegs zuverlässig zu funktionieren wenn ich das aktualisieren und das zuschneiden nacheinander und nicht mit dem gleichen Aufruf mache. Woran der Fehler wirklich liegt kann ich aber nicht sagen.
Falls ich noch irgendetwas herausfinde, werde ich das natürlich noch posten.