OSM Rohdaten filtern vor der Verarbeitung mit Renderer

Erlanger · 2011-04-28T07:41:23.000Z

Interessiere mich dafür, selber Karten zu rendern mit Maperitive, Kosmos, Mapnik etc.
Die OSM Rohdaten sind ja je nach Gebietsgröße recht groß.
Deshalb meine Idee, die Daten vor der Verarbeitung in größerem Stil zu filtern, um nur noch die Rohdaten zu haben, die ich wirklich für meine Karte benötige. Dabei meine ich, z.B. die ganzen Tags zu user, time, changeset etc. komplett rauswerfen und außerdem Tags zu korrigieren, zu vereinheitlichen und alle Tags zu entfernen, die ich für meine Karte nicht benötige…
Das Tool Osmfilter geht in die richtige Richtung, das müsste ich aber hunderte Male aufrufen, um alle Filterschritte abzuarbeiten…
Gibt es noch andere Filter-Tools, die man am besten mit einer Rules Datei o.ä. füttern kann?
Oder doch eine xslt-Prozessor benutzen?
Falls ja, welcher xslt-Prozessor ist unter Windows am einfachsten zu installieren und läuft am schnellsten?
Danke für alle Tipps…

ajoessen · 2011-04-28T07:53:43.000Z

Erlanger:

Interessiere mich dafür, selber Karten zu rendern mit Maperitive, Kosmos, Mapnik etc.
Die OSM Rohdaten sind ja je nach Gebietsgröße recht groß.
Deshalb meine Idee, die Daten vor der Verarbeitung in größerem Stil zu filtern, um nur noch die Rohdaten zu haben, die ich wirklich für meine Karte benötige. Dabei meine ich, z.B. die ganzen Tags zu user, time, changeset etc. komplett rauswerfen und außerdem Tags zu korrigieren, zu vereinheitlichen und alle Tags zu entfernen, die ich für meine Karte nicht benötige…
Das Tool Osmfilter geht in die richtige Richtung, das müsste ich aber hunderte Male aufrufen, um alle Filterschritte abzuarbeiten…
Gibt es noch andere Filter-Tools, die man am besten mit einer Rules Datei o.ä. füttern kann?
Oder doch eine xslt-Prozessor benutzen?
Falls ja, welcher xslt-Prozessor ist unter Windows am einfachsten zu installieren und läuft am schnellsten?
Danke für alle Tipps…

Einzelne Tags rauszuwerfen bringt Datenvolumenmäßig nicht viel.
Es lohnt nur, ganze Objekte rauszufiltern, z.B. nur power=* zulassen für Hochspannungskarten, admin_level=* für Grenzen usw.
http://wiki.openstreetmap.org/wiki/User:Ajoessen/Osmosis

Ich würde eine postgreSQL-Datenbank empfehlen, die speichert die Daten wirklich optimal. Überflüssige tags werden von osm2pgsql gleich beim Import rausgeworfen. Den Rest erledigst du mit den Renderegeln.
Anleitungen für Windows:
http://wiki.openstreetmap.org/wiki/User:Ajoessen/Postgis
http://wiki.openstreetmap.org/wiki/User:Ajoessen/Mapnik
http://wiki.openstreetmap.org/wiki/User:Ajoessen/myMapnik

Gruß,
ajoessen

Erlanger · 2011-04-28T11:52:29.000Z

Hm, mit Datenbanken bzw. PostGIS kenn ich mich gar nicht aus - da muss ich mich erstmal einarbeiten…
Welche Tools gibt es denn, um direkt auf der PostGIS Datenbank zu arbeiten (ausmisten, ändern, filtern…) ?
Welche Renderer können direkt aus einer PostGIS Datenbank lesen? Nur Mapnik?

ajoessen · 2011-04-28T12:15:01.000Z

Erlanger:

Hm, mit Datenbanken bzw. PostGIS kenn ich mich gar nicht aus - da muss ich mich erstmal einarbeiten…

Jeder von uns hat mal klein angfangen…

Welche Tools gibt es denn, um direkt auf der PostGIS Datenbank zu arbeiten (ausmisten, ändern, filtern…) ?
Welche Renderer können direkt aus einer PostGIS Datenbank lesen? Nur Mapnik?

Das Filtern würde ich -wenn sinnvoll möglich- vorab mit osmosis machen. Im pbf -Format ist das ziemlich schnell durch. Wenn die Daten erst mal in der Datenbank sind, merkst du von den nicht benötigten Daten nicht mehr viel.
Kosmos und Maperitive müssen sich die Daten selber im Arbeitsspeicher bzw in temporären Dateien organisieren, deswegen kommt man da ab 100MB schon an die Schmerzgrenze. Das bleibt dir bei Postgres -vorerst- erspart.
Mapnik ist zum Rendern die erste Wahl. Die anderen haben WIMRE keine Datenbankschnittstelle. Zum Anschauen kannst du noch Quantum GIS benutzen. Nik2img erzeugt aus der Datenbank nicht gekachelte Bilder, setzt aber auf Mapnik auf.

Tags umändern würde ich nicht. Zum Rendern kannst du ähnliche tags ja identisch rendern lassen.

Gruß,
ajoessen

Nop · 2011-04-28T12:24:37.000Z

Für den Einstieg empfehle ich Dir den Map Composer. Der macht eigentlich alles wonach Du fragst anfängertauglich in einer GUI: Auschnitte bilden, filtern, Ersetzungen durchführen und das Ergebnis mit Kosmos rendern. Zusätzlich eine Statistik, die Dir zeigt welche Tags Du wie auswertest und was Dir noch fehlt.

Wenn Du damit ein Gefühl für die Zusammenhänge und Datengrößen entwickelt hast, kannst Du Dich an die komplizierten Sachen mit Datenbank und Mapnik machen.

Bye
Nop

SunCobalt · 2011-04-28T12:25:15.000Z

Erlanger:

Welche Renderer können direkt aus einer PostGIS Datenbank lesen? Nur Mapnik?

und Mapserver http://mapserver.org/

ajoessen · 2011-04-28T12:34:07.000Z

SunCobalt:

Erlanger:

Welche Renderer können direkt aus einer PostGIS Datenbank lesen? Nur Mapnik?

und Mapserver http://mapserver.org/

Das würd eich aber eher nur Fortgeschrittenen empfehlen.
Die Wiki-Seite
http://wiki.openstreetmap.org/wiki/Mapserver
macht wenig Hoffnung auf Unterstützung.

Gruß,
ajoessen

SunCobalt · 2011-04-28T12:40:51.000Z

ajoessen:

SunCobalt:

Erlanger:

Welche Renderer können direkt aus einer PostGIS Datenbank lesen? Nur Mapnik?

und Mapserver http://mapserver.org/

Das würd eich aber eher nur Fortgeschrittenen empfehlen.
Die Wiki-Seite
http://wiki.openstreetmap.org/wiki/Mapserver
macht wenig Hoffnung auf Unterstützung.

Gruß,
ajoessen

ich traue mich nicht an Mapnik ran und habe Mapserver laufen. Die verlinkte Anleitung
http://trac.osgeo.org/mapserver/wiki/RenderingOsmData
ist eigentlich ausreichend. Am besten finde ich, dass das Stylesheet nicht so schlimm wie bei Mapnik ist (oder ich stelle mir Mapnik nur zu schlimm vor)

Erlanger · 2011-04-28T19:58:02.000Z

Ok, M_C wäre zum Spielen mal ein Anfang…
Hab noch nicht mit M_C gearbeitet - lässt sich denn der Stil der Wanderreitkarte auch mit Kosmos rendern? Ich vermute mal eher nein, weil das ja direkte input files für mkgmap sind und Kosmos ganz andere input files benötigt?

Nop · 2011-04-28T21:09:28.000Z

Erlanger:

Ok, M_C wäre zum Spielen mal ein Anfang…
Hab noch nicht mit M_C gearbeitet - lässt sich denn der Stil der Wanderreitkarte auch mit Kosmos rendern? Ich vermute mal eher nein, weil das ja direkte input files für mkgmap sind und Kosmos ganz andere input files benötigt?

Nö, Composer kann direkt in Kosmos rendern und erzeugt auch den passenden Stil dazu. Wird nur nicht oft benutzt.

Erlanger · 2011-04-28T21:22:23.000Z

Nop:

Nö, Composer kann direkt in Kosmos rendern und erzeugt auch den passenden Stil dazu. Wird nur nicht oft benutzt.

Ok, cooles Feature - muss ich unbedingt mal ausprobieren…

Marqqs · 2011-04-30T00:32:48.000Z

Erlanger:

Dabei meine ich, z.B. die ganzen Tags zu user, time, changeset etc. komplett rauswerfen und außerdem Tags zu korrigieren, zu vereinheitlichen und alle Tags zu entfernen, die ich für meine Karte nicht benötige…

Ich kann mich nur anschließen, sollte alles mit Osmosis möglich sein. Habs in diesem Umfang damit aber noch nicht selber probiert.

Die History-Informationen rauszuwerfen, bringt sehr viel! Die OSM-XML-Datei schrumpft etwa auf die Hälfte zusammen.
Mit dem Tool pbftoosm geht das auch recht schnell zu erledigen.
Siehe hier: http://wiki.openstreetmap.org/wiki/DE:Pbftoosm#pbftoosm.2C_ohne_History-Information

Erlanger:

Das Tool Osmfilter geht in die richtige Richtung, das müsste ich aber hunderte Male aufrufen, um alle Filterschritte abzuarbeiten…

Wenn du einzelne Tags rauswerfen, aber die Objekte, in denen sie vorkommen, behalten willst, dann ist osmfilter auch nicht das richtige Tool. osmfilter ist eher dann verwendbar, wenn du radikal ganze Objekte entfernen willst, die bestimmte Tags nicht enthalten.
Beispiel hier: http://wiki.openstreetmap.org/wiki/OpenGastroMap/install
Für solche Fälle ist osmfilter sinnvoll, weil recht schnell. Für komplexe Vorgänge, zum Beispiel das Verändern von Tags, ist es nicht geeignet.