Neues Filterprogramm für .osm- und .o5m-Dateien: osmfilter

Das stimmt eben nicht ganz. Für eine Datenbankbefüllung mit Osmosis reicht ein pbf welches für Europa nicht bei 82 GB sondern weniger als 7 GB liegt. Osmosis wäre auch in der Lage aus pbf tags zu filtern und wieder als pbf zu speichern.

Diese Einschränkungen sind aber bekannt. Ich denke Marqqs probiert hier erst mal die einzelnen Dinge aus, anstatt alles von Anfang an in einem Programm zu haben und dann die Fehler nicht zu finden. Was das Schreiben von pbf angeht, so sind die Probleme schon dargelegt worden.

Die .osm-Datei ist fürs Filtern nicht gut geeignet, sie ist viel zu groß, deswegen dauert das Parsen relativ lange. Aber - weils der universellste und am weitesten verbreitete OSM-Dateistandard ist und weil das Format (im Gegensatz zu .pbf) per Direktzugriff ab jeder Stelle in der Datei lesbar ist, kann es von o5mfilter verwendet werden.

Wenn man wirklich Europa komplett filtern will, reicht auch der Download der europa.osm.pbf - wie viw schon schrieb. Diese Datei lässt sich mit osmconvert ins .o5m-Format umwandeln - das ist fürs Filtern am besten geeignet.

Stimmt, wird es auch nicht, wie schon einmal erwähnt, weil .pbf fürs Filtern ungeeignet ist. Nicht falsch verstehen - technisch ist das möglich, aber mit Performance hat das dann nichts mehr zu tun. Ich kann gern mehr zu den Hintergründen schreiben, aber das sprengt hier vielleicht den Rahmen. Und einen Glaubensstreit zum Thema Formate will ich auch nicht anfangen. :slight_smile:

supi, sowas gehört als Quintessenz (“downloade das pbf, filtere mit o5m”) auch ins wiki, IMnsHO :slight_smile:

Ciao,
Frank

Außer, es gibt irgendwann .o5m als Download. :slight_smile:

Jetzt war ich doch neugierig genug, um den aktuellen Datenstand anzuschauen (Stand 2011-05-27):

  • europa.osm 103,95 GiB

  • europe.osm.pbf 5,74 GiB

  • europe.o5m 9,95 GiB

  • europe.o5m.7z 5,21 GiB

Wenn ich da an die Dateigrößen von vor 3 Jahren denke... faszinierend.

Je mehr ich mich mit den verschiedenen Filtertypen befasse, um so begeisterter bin ich von dem Tool. Schon klasse, was man mit der Kombination verschiedener Filter bewerkstelligen kann.
Das ist so was wie praktisch angewendete Mengenlehre. :slight_smile:

Solltest du viel filtern, ist es besser wenn du statt OSM Dateien o5m Dateien aus den PBFs schneidest. Damit erhälst du bei allen Operationen einen gewaltigen Zeitvorteil. o5mfilter speichert dir nach dem Filtern dann deine gewünschte osm Datei zur Weiterverarbeitung.
Aber vorher unbedingt die neue Version von osmconvert runterladen, die alte hatte noch einen Bug.

Falls du noch Ideen für die Erweiterung brauchst, ich hätte da eine:

Filtern von Nodes in einem Way. Man kann eine Mindest-Distanz angeben, wenn diese unterschritten wird, dann wird der Node verworfen. (Ausnahme der Node wird noch von einem anderen Weg verwendet, oder ist der letzte Node im Weg)
Das Programm wäre dann das Erste mit dem man derartige Filter anwenden kann.

lg