Probleme mit Extrakten der Geofabrik (zur Info)

wambacher · 2018-05-04T11:34:43.000Z

Hi,

falls jemand Probleme mit den aktuellen Extrakten der Geofabrik haben sollte:

osmosis-dev:

Hi,

On 04.05.2018 11:21, dev Yyyyy wrote:

The file I’m trying to convert is
https://download.geofabrik.de/europe/hungary-latest.osm.pbf

… which, since yesterday, does not contain user names, user IDs, or
changeset IDs any longer. That is probably the core of the issue.

We’ve made that change on the Geofabrik server to comply with data
protection rules. The “old” file with full user info is still available as

https://osm-internaldownload.geofabrik.de/europe/hungary-latest-internal.osm.pbf

and requires a login to access.

I fear that we were a bit too optimistic making this change; there’s
just too much software out there that cannot cope with missing
attributes. We’ll likely change this, and set uid=0, username=“”,
changeset=0 instead of dropping them altogether.

Bye
Frederik

Ob das für die heutigen Extrakten gefixt ist, könnt ihr ja durch einen kurzen Blick in die Rohdaten sehen.

Gruss
walter

Nop · 2018-05-04T15:33:46.000Z

Eines der angesprochenen Tools ist osmosis. Das kann die Dateien derzeit nicht mehr lesen und stürzt mit einer Exception ab.

bye, Nop

Nakaner · 2018-05-04T16:35:37.000Z

Hallo,

der Fehler betrifft nicht nur Osmosis, sondern auch Libosmium. Bei Osmosis hilft es nicht, zu updaten, bei Libosmium und Libosmium-basierte Software hingegen schon. Libosmium ab Version 2.14.0 (in Osm2pgsql ab 0.96.0 [1]) kommt mit unvollständigen Dateien problemlos klar.

Bei Libosmium-basierten Programmen lautet die Fehlermeldung dann:
PBF format error

Grund für die Fehler ist, dass keines der Metadatenfelder user, uid, changeset, version und timestamp im PBF-Format Pflicht ist, die Programme diese aber erwarten. Sie dürfen fehlen. uid und user fehlen heutzutage schon bei Objekten, die von anonymen Benutzern bis 2009 hochgeladen worden sind, aber es gilt nur in extremen Ausnahmefällen PBF-Dateien, in denen bei allen Objekten user und uid fehlt.

Die öffentlichen Extrakte und Diffs enthalten vsl. morgen wieder alle Metadatenfelder, die Felder user, uid und changeset sind dann jedoch auf 0 bzw. leere Strings gesetzt. Damit sollte auch veraltete Software wieder laufen.

Viele Grüße

Michael

[1] Osm2pgsql aus den Paketquellen von Linux-Distributionen kann gegen andere Libosmium-Versionen als 2.14.0 kompiliert sein.

dooley · 2018-05-05T06:36:58.000Z

Das Problem scheint gelöst, zumindest germany-latest.osm.pbf lässt sich wieder mit osm2pgsql verarbeiten.
Vielen Dank, Michael, für das schnelle Fixen der Extrakte.

Gruß, Frank