Problem mit osmconvert "Fehler -5"

Hallo,

ich wollte die aktuelle europa.osm.pbf von der Geofabrik ins o5m-Format überführen.
Mit “kleineren” Dateien geht es ohne Probleme. Bei der Europa-Datei kommt dann bei 5.719.879.579 Byte (rund 5.72gb)
“osmconvert Error: decompression failed: -5”.
Im Netz findet man/ich recht wenig über den Fehler, außer das es wohl an zlib liegen soll.
Als Rechner benutze ich einen Mac, mit OS 10.6.8.
Folgende Befehle benutze ich:


wget -O - http://m.m.i24.cc/osmconvert.c | cc -x c - -lz -O3 -o osmconvert
./osmconvert europe.osm.pbf --out-o5m >europe.o5m

Hat jemand eine Lösung für das Problem?

Ich würde mal versuchen osmconvert nur einmal vorab zu compilieren und das dann direkt aufzurufen.
Ich sehe erst mal keinen Vorteil, die osmconvert-Quelledatei jedes mal aus dem Netz zu laden und frisch zu übersetzen.

Edbert (EvanE)

Ja,

ich hab es natürlich nur einmal geladen, kompiliert und dann getestet. :wink:
Etwas schlecht von mir dargestellt…

Ob es “an der zlib liegt” in dem Sinne, daß diese fehlerhaft ist, weiß ich nicht (und bezweifle es eher). Richtig ist aber, daß osmconvert (genauer: pb__decompress) verbatim den Rückgabewert Z_BUF_ERROR aka -5 ausspuckt. Dieser wird allerdings von inflate() nur dann geliefert, wenn man mit dem Argument Z_FINISH höflich darum bittet; ansonsten würde Z_OK zurückgegeben (inflate.c:1249). Für mich sieht das (ohne detaillierte Kenntnis der zlib) eher so aus, als sollte osmconvert auch diesen Rückgabewert akzeptieren oder inflate() ein anderes Argument als Z_FINISH mitgeben, oder daß ein anderer Fehler in pb__decompress vorliegt. Wesentlich fundierter kann das aber Marqqs beantworten, der Autor des Programms.

PS. Gerade mal

wget -O - http://download.geofabrik.de/europe-latest.osm.pbf | osmconvert - --out-o5m >/dev/null

ausgeführt. Hat ein Weilchen gedauert, ist aber fehlerfrei durchgelaufen.

ohne deinen Rechner zu kennen: 5.7 Gb dekomprimieren und dann weiter verarbeiten wird wohl etwas temporären Platz brauchen, gell? Check mal deine Platten oder deinen Arbeitsspeicher (Swap?) , je nachdem wo er das lässt.

Gruss
walter

also die osmconvert hat mit dem konvertieren kein Problem, auch der Speicher wird da nur mit so 250 MB belastet.

Ich Tippe eher das was mit der europe.osm.pbf nicht stimmt!
Hatte ich schon ein paarmal das beim Download was schiefgegangen ist…

Der Speicherbedarf hält sich in Grenzen: OSM-PBF kommt in Blöcken, entpackt (und das ist der Schritt, bei dem es anscheinend hakt) maximal 32 MByte. Ich bin aber geneigt, mich der Vermutung von quasilotte anzuschließen. Einfach mal die Datei neu laden und auf Besserung hoffen.