TMC-Daten nach osm2pgsql-Import

TrafficJam · 2011-03-09T09:44:39.000Z

Hallo zusammen,

ich habe mit osm2pgsql einen Satz deutscher Nodes nach Postgres importiert und wollte nach den TMC-Codes suchen.
Die Nodes selbst sind da, aber leider ist die Spalte tags in planet_osm_nodes bei den betroffenen Nodes leer.
Bei anderen (Nicht-TMC-)Nodes stehen aber Infos in “tags”.
Was mache ich falsch? gibt es irgendeinen Filter, welche Tags importiert werden und welche nicht?

Danke für Tipps!

viw · 2011-03-09T09:52:34.000Z

Also zum Anfang wäre wichtig zu wissen, was du damit später vorhast. Denn davon hängt ab ob om2pgsql überhaupt der richtige Ansatz sein kann. Ansonsten gibt es noch die Möglichkeit eine Datenbank nach dem simpleschema anzulegen. Daraus lassen sich aber nur schwer Karten berechnen. Allerdings kann man hier viel besser suchen.
Das zweite ist bei osm2pgsql werden schon beim Import Stylefiles verwendet, welche die Daten dann aufteilen. Darin ist festgelegt, was mit bestimmten tags geschehen soll. Früher wurden alle nicht definierten tags verworfen. Heute werden sie noch in der hstore Spalte gespeichert. Das heißt für dich, du musst in hstore schauen ob dort die vermissten Informationen liegen und wenn das nicht der Fall ist, musst du dich an den Stylefile machen und dort schauen an welcher Stelle diese Informationen entfernt werden.

ajoessen · 2011-03-09T10:07:09.000Z

viw:

Also zum Anfang wäre wichtig zu wissen, was du damit später vorhast. Denn davon hängt ab ob om2pgsql überhaupt der richtige Ansatz sein kann. Ansonsten gibt es noch die Möglichkeit eine Datenbank nach dem simpleschema anzulegen.

… und dafür ist osmosis besser geeignet als osm2pgsql.

Das zweite ist bei osm2pgsql werden schon beim Import Stylefiles verwendet, welche die Daten dann aufteilen. Darin ist festgelegt, was mit bestimmten tags geschehen soll. Früher wurden alle nicht definierten tags verworfen. Heute werden sie noch in der hstore Spalte gespeichert. Das heißt für dich, du musst in hstore schauen ob dort die vermissten Informationen liegen und wenn das nicht der Fall ist, musst du dich an den Stylefile machen und dort schauen an welcher Stelle diese Informationen entfernt werden.

Im Detail: Mach die Datei default.style im osm2pgsql-Ordner mit nem gescheiten Editor (z.B. notepad++) auf, und füge alle keys hinzu, die du explizit haben möchtest (sofern sie nicht schon vorhanden sind).

EDIT: Anschließend alle Daten neu laden!

gruß,
ajoessen

TrafficJam · 2011-03-09T10:19:02.000Z

Danke für die schnelle Hilfe!
Zur Frage, as ist damit später machen will:
Ich will einen Layer mit TMC-Daten erzeugen. Als Renderer nutze ich derzeit Mapnik.

Für eine Vorabfilterung habe ich bereits osmosis benutzt, was auch super funktioniert. Ich dachte nur, dass ich osm2pgsql verwenden muss, damit mapnik läuft. Stimmt das nicht? Kann ich damit auch aus dem per osmosis erzeugten Datenbankformat mit mepnik rendern? Oder bietet sich da ein anderer Renderer an?

_i · 2011-03-09T10:31:26.000Z

Hi, mit Kosmos kannst du auch mit OSM Dateien arbeiten. Wenn du das aber für größere Bereiche machen willst wäre eine DB schon nicht schlecht. Du musst dann eben nur wie gesagt die Importfilter bei osm2pgsql anpassen

viw · 2011-03-09T10:35:10.000Z

Du kannst eine einmal angelegte Datenbank auch mit Osmosis aktuell halten. Osm2pgsql nimmt im Prinzip auch osmosis als Rechenknecht um die Datenbank zu füllen. Was im Einzelnen aber alles nötig ist, kann ich dir leider nicht sagen. Aber es scheint doppelte Arbeit zu sein, wenn du erst mit osmosis filterst und dann nochmal mit osomsis(osm2pgsql) in die Datenbank einliest. Ansonsten ist die Datenbank mit osm2pgsql der bessere Ansatz für rendering. Schau dir doch am besten einmal das Tutorial http://wiki.openstreetmap.org/wiki/DE:HowTo_minutely_hstore
Hier ist alles Schritt für Schritt beschrieben und auch gut erklärt.

ajoessen · 2011-03-09T10:40:34.000Z

viw:

Du kannst eine einmal angelegte Datenbank auch mit Osmosis aktuell halten. Osm2pgsql nimmt im Prinzip auch osmosis als Rechenknecht um die Datenbank zu füllen. Was im Einzelnen aber alles nötig ist, kann ich dir leider nicht sagen. Aber es scheint doppelte Arbeit zu sein, wenn du erst mit osmosis filterst und dann nochmal mit osomsis(osm2pgsql) in die Datenbank einliest. Ansonsten ist die Datenbank mit osm2pgsql der bessere Ansatz für rendering. Schau dir doch am besten einmal das Tutorial http://wiki.openstreetmap.org/wiki/DE:HowTo_minutely_hstore
Hier ist alles Schritt für Schritt beschrieben und auch gut erklärt.

Oder, für Windows-Nutzer:
http://wiki.openstreetmap.org/wiki/User:Ajoessen/Mapnik

Bislang habe ich solche Layer mit Kosmos aus osmosis-Zuschnitten gemacht:
http://wiki.openstreetmap.org/wiki/User:Ajoessen/Osmosis
http://wiki.openstreetmap.org/wiki/User:Ajoessen/Kosmos

Die fünfte Jahreszeit (aka Karneval) habe ich dazu genutzt, das Ganze auf Mapnik umzustellen. Damit läuft es um einiges schneller; und das Rendering von Texten ist besser, weil Mapnik nicht einfach alles übereinander pappt.

Die Anleitungen dafür muß ich aber erst noch schreiben…

Gruß,
ajoessen

viw · 2011-03-09T11:40:58.000Z

ajoessen:

Die Anleitungen dafür muß ich aber erst noch schreiben…

Gruß,
ajoessen

Sei dir sicher, dass sie bereits sehnsüchtig erwartet wird! Wenn du dann noch eine Strategie für die Aktualisierung der Datenbank hast, wäre ich auch nicht unglücklich.

ajoessen · 2011-03-09T12:37:51.000Z

viw:

Wenn du dann noch eine Strategie für die Aktualisierung der Datenbank hast, wäre ich auch nicht unglücklich.

Die ist bei mir ganz einfach: Datenbank mit pgAdminIII weglöschen, Geofabrik-Extrakt von pbf in osm umwandeln, mit osm2pgsql neu einladen ;=)

Gruß,
ajoessen

viw · 2011-03-09T12:39:37.000Z

Ok das bedeutet aber schon einen ziemlichen Aufwand. Vor allem wenn man dann Planetfiles aktuell halten wöllte.

ajoessen · 2011-03-09T12:56:07.000Z

viw:

Ok das bedeutet aber schon einen ziemlichen Aufwand. Vor allem wenn man dann Planetfiles aktuell halten wöllte.

OK, die ganze Welt brauche ich ja auch nicht.

Hier gibts schon mal die Ergebnisse zu sehen:
http://bahnradwandern.bplaced.net/osmviewer.htm?zoom=11&lat=50.9987&lon=7.00275&layers=B000TF
http://bahnradwandern.bplaced.net/power/osm-power.htm

aktualisiert sind nur Zoomstufen 8 bis 13.

Gruß,
ajoessen

viw · 2011-03-09T13:57:40.000Z

Sehr interessant. Wie machst du das? Renderst du die Tiles lokal oder bei bplaced?

ajoessen · 2011-03-09T14:11:35.000Z

viw:

Sehr interessant. Wie machst du das? Renderst du die Tiles lokal oder bei bplaced?

lokal mit Mapnik. Nach bplaced schiebe ich die mit ftp; das dauert ab Z14 ewig. Ob ich da auf dem Server was laufen lassen kann, weiß ich nicht. php und pgSQL soll es wohl können, nutzt mir aber nichts bzw wenig.

Mir gehts ja sowieso drum, das für mich selbst zu Rendern, um Fehler zu finden.
Höhen, Grenzen, Rad- und Wanderrouten sind auch schon fertig. Für den PDA will/muß ich das alles in eine Ebene Packen, da hakelts noch ein wenig mit der Übersichtlichkeit.

Gruß,
ajoessen

brogo · 2011-03-09T14:46:46.000Z

ajoessen:

lokal mit Mapnik. Nach bplaced schiebe ich die mit ftp; das dauert ab Z14 ewig.

Falls es um den FTP-Overhead geht: Ich habe mal auf meiner Wiki-Seite beschrieben, wie man die Dateien in einem Rutsch übertragen und auf dem Server entpacken kann.

Christian

ajoessen · 2011-04-11T08:00:23.000Z

viw:

Wenn du dann noch eine Strategie für die Aktualisierung der Datenbank hast, wäre ich auch nicht unglücklich.

Altes Thema noch mal rausgekramt:

Lonvia hat bei ihrem Vortrag auf der FOSSGIS einen interessanten Ansatz gezeigt, wie man die Changefiles mit osmosis einliest, und nur die Änderungen des eigenen Spezialgebiets zum Rendern rausfiltert:

http://www.fossgis.de/konferenz/2011/programm/events/278.de.html
bzw als Video:
http://ftp5.gwdg.de/pub/misc/openstreetmap/FOSSGIS2011/FOSSGIS2011-278-de-wanderwege.mp4

Gruß,
ajoessen