Probleme mit osmupdate und osmconvert

aighes · 2012-07-31T13:58:06.000Z

Hallo,
in letzter Zeit bekomme ich beim updaten des planets immer folgende Fehlermeldung:

Could not get 183500800 bytes of memorie. Dann bricht er das mergen der diffs ab.

Ich betreibe das ganze mit dem fertigen win32 exe auf einem Win7 64bit mit ausreichend Speicher. Ich hab es auch schon mal mit mingw selber compiliert, hat aber auch nichts genutzt. Mit mingw64 komme ich nicht wirklich klar.

Mein Aufruf ist folgender:

bin\osmupdate.exe --verbose --planet-url=http://planet.openstreetmap.org/redaction-period/ %basefile%\src\planet.osm.pbf %tempfile%\planet_%heute%.osm.pbf

Kann mir einer beim compilieren von den beiden Tools für Win64 helfen? Welche Dateien muss ich dafür herunterladen und wie muss ich das dann compilieren? Evtl. auch optimiert für einen Phenom II X6.

Oder hat einer eine andere Idee, woran es sonst noch liegen könnte?

AlterSachse · 2012-07-31T15:09:24.000Z

Hallo,
also bei mir funzt das unter WIN7-64 Ultimate mit folgenden Aufruf
.\osmup.exe --planet-url=http://planet.openstreetmap.org/redaction-period/ --hourly --daily --emulate-osmosis --keep-tempfiles -v -b=%box% %osm% lausitz.pbf
osmupdate.exe sollte ja umbenannt werden bei mir in osmup.exe steht so auf der Herstellerseite
die Variablen %box% enthält folgendes == set box=13.6,50.6,15.5,51.3
und Variable %osm% == set osm=europe.osm.pbf
Programm habe ich auch nur von der Herstellerseite runtergeladen, und bis vor zwei Stunden haute das auch alles noch hin.
Gruß AlterSachse

aighes · 2012-08-01T07:19:35.000Z

Hmm…merkwürdig…

Jetzt hab ich ein --daily ergänzt, da läuft er durch. Wo ich bisher dachte, er bekommt für die großen Dateien nicht genug RAM. Als in der redaction-Zeit mal nur minutly verfügbar war, ist er auch durchgelaufen. Werde mal weitere Kombinationen testen.

Win32netsky · 2014-03-21T14:12:44.000Z

Hallo
Ich nutze auch diese Verbesserung :

Im Moment muss ich mich mit einem Windows 7 rumschlagen (keine Ahnung)

Das geht nicht ?

osmupdate aut-che-ita-slo-hrv-srb-mne-bih.osm.pbf --hour --day --keep-tempfiles aut-che-ita-slo-hrv-srb-mne-bih-new.osm.pbf -B=aut-che-ita-slo-hrv-srb-mne-bih.poly

Es kommt ein Fenster: Wollen sie zulassen das ein Programm … usw.
Mache ich Ja

Dann schließt es. Es springt kurz ein Terminal wieder auf.
Aus fertig nix passiert ?
Beste Grüße

EvanE · 2014-03-21T15:00:58.000Z

Win32netsky:

Im Moment muss ich mich mit einem Windows 7 rumschlagen (keine Ahnung)
osmupdate aut-che-ita-slo-hrv-srb-mne-bih.osm.pbf --hour --day --keep-tempfiles aut-che-ita-slo-hrv-srb-mne-bih-new.osm.pbf -B=aut-che-ita-slo-hrv-srb-mne-bih.poly
Das geht nicht? Es kommt ein Fenster: Wollen sie zulassen das ein Programm … usw. Mache ich Ja
Dann schließt es. Es springt kurz ein Terminal wieder auf. Aus fertig nix passiert ?

Gemeine Falle! Bei allen Programmen die “update” im Namen haben, ‘denkt’ Windows, es müsse sich um ein Programm in bestimmter Struktur für Updates von Programmen handeln.

Das ist im Fall von osmupdate natürlich nicht gegeben. Daher kommt diese Reaktion. Abhilfe ist zum Glück trivial: Osmupdate einfach umbennenen ohne “update” im Programmnamen (z.B. “osmupd”).
Disclaimer: Kenne ich nur aus dem Forum, hat aber seinerzeit wohl geholfen.

Edbert (EvanE)

hurdygurdyman · 2014-03-21T16:40:28.000Z

Ich empfehle am Windows7-Rechner folgendes workaround
http://m.youtube.com/watch?v=h1cgtbFimgw

wambacher · 2014-03-21T18:43:33.000Z

hurdygurdyman:

Ich empfehle am Windows7-Rechner folgendes workaround
http://m.youtube.com/watch?v=h1cgtbFimgw

das ist ein Fake.

aber passt dennoch

Win32netsky · 2014-03-22T09:08:02.000Z

Hallo
Lustig ja da ist man immer kurz davor mit windows.

Ich habe die deu-osm.pbf in eine deu-old.o5m convertiert.

Startbefehl:

osmupd deu-old.o5m --hour --day --keep-tempfiles deu.o5m -B=deu.poly

osmupd Da geht jetzt was, aber es funktioniert nicht?

osmupdate:Aging the timestamp by 4 hours for safty reasons
osmupdate Error: Could not get the newest hourly timestamp from the Internet.

Gerade im Test mit …osm.pbf geht es auch nicht, selbe Meldung wie oben?
Ende Versuch

Win32netsky · 2014-03-23T17:43:16.000Z

Hallo
Übergangsweise gelöst, umständlich geht immer.
Ubuntu Live CD genutzt

frabron · 2016-02-19T08:04:59.000Z

puste den Staub ab
Ich habe auch dieses Problem mit osmupdate und den fehlenden 183500800 bytes of memory.

Mein Aufruf mit alles


"C:\Users\Frank\bin\osmu.exe" -v --keep-tempfiles --max-merge=3 --day -b=""6.32,49.03,7.42,49.71"" "2016-02-19T0848-saarland.osm.pbf" "C:\Users\Frank\Documents\Meine Dokumente\Karten\OSM\2016-02-19T0859-saarland.osm.pbf"

Die Ausgabe von osmupdate


osmupdate Parameter: --keep-tempfiles
osmupdate Parameter: --max-merge=3
osmupdate Parameter: --day
osmupdate Parameter: -b=6.32,49.03,7.42,49.71
osmupdate Parameter: 2016-02-18T1821-saarland.osm.pbf
osmupdate Parameter: C:\Users\Frank\Documents\Meine Dokumente\Karten\OSM\2016-02-19T0848-saarland.osm.pbf
osmupdate: timestamp of 2016-02-18T1821-saarland.osm.pbf: 2016-02-18T00:00:00Z
osmupdate: newest daily timestamp: 2016-02-19T00:00:00Z
osmupdate: daily changefile 1255: downloading
osmupdate: daily changefile 1254: 2016-02-18T00:00:00Z
osmupdate: Merging changefiles.
osmupdate: Creating output file.
osmconvert Error: could not get 183500800 bytes of memory.
osmupdate: Keeping temporary files.
osmupdate: Completed successfully.

Der Rechner ist mit Windows 10 ausgestattet, hat 8GB RAM und das ganze läuft in einer OSGeo4W-Shell, was aber auch nur eine cmd.exe am Ende ist. Es scheint ja alles zu funktionieren, es steht ja schliesslich “osmupdate: Completed successfully.” da, aber ein wenig befremdlich ist das schon. Ich belasse die Dateien ja im PBF-Format wegen späterer Weiterverarbeitung, liegt es evt. daran?

stephan75 · 2016-02-19T19:30:28.000Z

Hab deine Beschreibung unter http://frankbroniewski.com/2016/02/16/Wie-man-einen-heruntergeladenen-OpenStreetMap-Extrakt-aktuell-halt/ gefunden … sieht gut aus!

Aber zu der Fehlermeldung kann ich leider nix sagen, vielleicht muss man da mal mit einem Debugger oder Profiler ran?

Marqqs · 2016-02-22T10:07:25.000Z

frabron:

osmconvert Error: could not get 183500800 bytes of memory.

Hallo Frank,
die betreffende Meldung wird von osmconvert ausgegeben, wenn zum Einlesen einer Datei Speicherplatz angefordert, aber vom Betriebssystem nicht zur Verfügung gestellt wurde.

Verwendest du die 64-Bit-Version von Windows 10? Falls ja, wurde das Programm osmconvert für 64 oder für 32 Bit übersetzt?

Zur Fehlersuche:
osmconvert wird von osmupdate aufgerufen. Die betreffenden Systemaufrufe werden angezeigt, wenn du statt “-v” die Option “-v=2” übergibst. Vielleicht bringt das noch etwas Licht ins Dunkel…

Grüße
Markus

frabron · 2016-02-24T11:07:05.000Z

Ja, ich habe die 64bit Version von W10, osmconvert ist die 32bit, die im Wiki verlinkt ist. Das ganze passiert übrigens nicht, wenn man das o5m-Format nimmt, die Meldung kommt nur mit pbf als Format. Ich teste die ausführlichere Ausgabe und poste die Ausgabe, sobald mich die Grippe mal länger als 10 Minuten an den Rechner lässt …

BardicMa · 2016-05-08T15:26:00.000Z

Gibts inzwischen Neuigkeiten zu dem Thema?
Unter Windows 10 funktioniert mit pbf und osmupdate und osmconvert alles zuverlässig. Auf meinen Servern mit Windows Server 2008 reproduzierbar nicht. Dort gibt es den could not get bytes of memory Fehler. (erst seit einigen Monaten)
Und ja, der Server hat reichlich Arbeitsspeicher übrig, 185 MB sind eigentlich kein Ding.

Blöd: Die Datei wird trotzdem geschrieben, sie hat aber eine andere Größe als die gleiche Datei unter Windows 10 upgedated.
Insbesondere fehlen Multipolygone, der Rest scheint ok zu sein.

Ich hab mir mal den osmosis.c Code besorgt und die Stelle angeschaut, ist unspektakulär.
Bei einem solchen Fehler sollte die Datei besser nicht geschrieben werden statt eine unvollständige zu schreiben.

Ich wollte osmconvert mal unter Windows und Visual Studio compilieren, aber mir scheinen ein paar Header zu fehlen, wo bekommt man die?

Gruss Marcus

BardicMa · 2018-05-14T16:34:08.000Z

Hi,

seit heute gibt es mit osmupdate unter Windows die folgende Meldung:

Error : Could not get the newest daily timestamp from the internet

Mit scheint das kommt daher dass die Planetdatei nicht mehr unter http erhältlich ist, sondern unter https?

Könnte bitte jemand neue Builds für Windows 32 und 64 machen?

Danke, Gruss Marcus