OSM 'planet file' - Aktualität der enthalten Daten?

toc-rox · 2022-12-01T08:50:35.702Z

Wie läßt sich für das ‘planet file’ die Aktualität der Daten ermitteln?

Aktuell sehe diese Datei:

Bildschirmfoto 2022-12-01 um 09.42.04850×46 6.98 KB

https://planet.osm.org/pbf/

Mit ‘osmconvert’ habe ich dies ermittelt:

$ ../osmconvert/osmconvert planet-latest.osm.pbf --out-statistics
timestamp min: 2005-05-21T21:03:22Z
timestamp max: 2022-11-21T00:59:56Z
lon min: -180.0000000
lon max: 180.0000000
lat min: -90.0000000
lat max: 90.0000000
nodes: 8054376760
ways: 902602455
relations: 10422575
node id min: 1
node id max: 10205505489
way id min: 37
way id max: 1115843511
relation id min: 11
relation id max: 14913000
keyval pairs max: 598
keyval pairs max object: relation 449220
noderefs max: 2000
noderefs max object: way 4320001
relrefs max: 29178
relrefs max object: relation 6535292

Das heißt, die Datei hat zwar einen Timestamp vom 26.11.2022, beinhaltet aber nur Daten bis zum 21.11.2022. Kommt man an die Information “timestamp max: 2022-11-21T00:59:56Z” auch (direkt) auf andere Wege als über osmconvert?

flohoff · 2022-12-01T09:18:29.930Z

toc-rox:

Das heißt, die Datei hat zwar einen Timestamp vom 26.11.2022, beinhaltet aber nur Daten bis zum 21.11.2022. Kommt man an die Information “timestamp max: 2022-11-21T00:59:56Z” auch (direkt) auf andere Wege als über osmconvert?

Ich tippe mal schnell drauf das der Export 5 Tage braucht. Daher ist der 21.11 der Tag an dem der begonnen wurde, und der 26.11 der timestamp des files wann es das letzte mal modifiziert wurde weil bis dahin das prozessieren der Daten dauerte.

Bei Benutzung des planets mit incremental diffs würdest du ja dann beim 21.11 anfangen wie im filename beschrieben.

Und aeh - Nimm den filename - dann hast du das Datum sofort - Das +1 ist vermutlich British Standard Time oder CET offset?

Flo

mmd · 2022-12-01T09:53:36.506Z

Mit osmium fileinfo kann man sich den Zeitstempel auch ausgeben lassen, er ist als Metadatum im Planet PBF enthalten.

HIer ist ein Beispiel: Data error when extract region from planet file - OSM Help

   osmosis_replication_timestamp=2022-06-19T23:59:47Z

seichter · 2022-12-01T10:01:55.140Z

Im planet-latest.osm.pbf steht das Datum des DB-snapshots im Dateinamen nicht drin. Da muss man wohl osmconvert (oder osmium fileinfo s.o.) bemühen.
Sobald aber nach 7 Tagen eine neuere planet-latest-Datei erzeugt wird, wird die vorherige mit Datum im Dateinamen umbenannt. Dasselbe gilt übrigens auch für die torrent-Datei und den MD5-Hash.

Das last-modified wird vom Betriebssystem erzeugt, wenn der letzte Schreibzugriff auf die Datei erfolgte. Die Daten darin sind aber nur bis zum “timestamp max” aktuell, wenn dieser Eintrag überhaupt einen Sinn machen soll.

whb · 2022-12-01T10:02:15.397Z

toc-rox:

Kommt man an die Information “timestamp max: 2022-11-21T00:59:56Z” auch (direkt) auf andere Wege als über osmconvert?

mmd:

Mit osmium fileinfo kann man sich den Zeitstempel auch ausgeben lassen

“timestamp max” und “osmosis_replication_timestamp” sind nicht identisch.

mmd · 2022-12-01T11:01:30.993Z

Ja, ist prinzipbedingt so. osmium timeinfo gibt aber auch beides aus, also auch den max. timestamp. Das wäre dann der letzte Zeitstempel von allen OSM Objekten im Planet. Wenn gerade nichts los ist, oder zufällig noch Daten nicht commited wurden kann es hier Abweichungen geben.

Die ganze Planet-File Erzeugung erfolgt auch in mehreren Schritten. Zunächst wird ein Backup der gesamten Datenbank erstellt (das passiert so oder so). Die planet-Erzeugung arbeitet dann mit dem Backup, extrahiert von dort die Daten und schreibt den pbf Planet, der anschließend veröffentlicht wird.

toc-rox · 2022-12-01T19:24:36.435Z

Ja, mit ‘osmium fileinfo’ erhält man sofort die gewünschte Information:

$ osmium fileinfo planet-latest.osm.pbf
File:
  Name: planet-latest.osm.pbf
  Format: PBF
  Compression: none
  Size: 71266481134
Header:
  Bounding boxes:
    (-180,-90,180,90)
  With history: no
  Options:
    generator=planet-dump-ng 1.2.4
    osmosis_replication_timestamp=2022-11-21T00:59:56Z
    pbf_dense_nodes=true
    pbf_optional_feature_0=Has_Metadata
    pbf_optional_feature_1=Sort.Type_then_ID
    sorting=Type_then_ID
    timestamp=2022-11-21T00:59:56Z