Importieren von Daten mit OSM2PGSQL

deltabrasil · 2010-03-18T22:07:49.000Z

Hallo,

ich habe die OSM Datenbank gerade entpackt und habe den Server gemäss dieser Anleitung eingerichtet:
http://weait.com/content/build-your-own-openstreetmap-server

Das klappte auch alles wunderbar. Dementsprechend sollte nun mit dem osm2pgsql die Daten in den Postgres eingeladen werden.
Leider bricht der immer wieder ab. Folgende Anleitung habe ich dazu benutzt:
http://weait.com/content/make-your-first-map

Die Ausgabe lautet wie folgt:

postgres@ads:/root/src/mapnik/osm2pgsql$ ./osm2pgsql -m -d gis /etc/planet-latest.osm
osm2pgsql SVN version 0.69-20502

Using projection SRS 900913 (Spherical Mercator)
Setting up table: planet_osm_point
HINWEIS:  Tabelle ?planet_osm_point? existiert nicht, wird ?bersprungen
HINWEIS:  Tabelle ?planet_osm_point_tmp? existiert nicht, wird ?bersprungen
Setting up table: planet_osm_line
HINWEIS:  Tabelle ?planet_osm_line? existiert nicht, wird ?bersprungen
HINWEIS:  Tabelle ?planet_osm_line_tmp? existiert nicht, wird ?bersprungen
Setting up table: planet_osm_polygon
HINWEIS:  Tabelle ?planet_osm_polygon? existiert nicht, wird ?bersprungen
HINWEIS:  Tabelle ?planet_osm_polygon_tmp? existiert nicht, wird ?bersprungen
Setting up table: planet_osm_roads
HINWEIS:  Tabelle ?planet_osm_roads? existiert nicht, wird ?bersprungen
HINWEIS:  Tabelle ?planet_osm_roads_tmp? existiert nicht, wird ?bersprungen
Mid: Ram, scale=100

Reading in file: /etc/planet-latest.osm
Processing: Node(329350k) Way(0k) Relation(0k)Error allocating nodes
Error occurred, cleaning up

Wann er abbricht ist unterschiedlich. Der Import dauert auch ziemlich lange (4xDual Core 2,6 Ghz mit 12 GB RAM).
Wer weiss, wie ich das optimieren kann?

lutz · 2010-03-19T08:14:17.000Z

hallo,

deine links sind gerade nicht erreichbar, aber du mußt die
tabellen erst anlegen, wenn du diese befüllen willst.
ist im readme von osm2pgsql gut beschrieben.

grüße von lutz

Nop · 2010-03-19T13:08:15.000Z

Versuch’s doch mal mit dem Parameter -slim und gib ihm mehr Speicher für den Nodecache.

Ohne -slim funktionieren ein paar Features eh nicht richtig, also auf jeden Fall angeben.

bye
Nop

deltabrasil · 2010-03-27T21:59:37.000Z

lutz:

deine links sind gerade nicht erreichbar, aber du mußt die
tabellen erst anlegen, wenn du diese befüllen willst.
ist im readme von osm2pgsql gut beschrieben.

Logisch. Das war auch alles erfolgreich. Bei mir funktionieren die Anleitungen (jetzt)

Versuch’s doch mal mit dem Parameter -slim und gib ihm mehr Speicher für den Nodecache.

Hatte ich schon getan erfolglos. Das mit dem Nodecache versuch ich mal.

deltabrasil · 2010-03-27T22:18:09.000Z

Also … so zeigt es diese Seite an:

Using projection SRS 900913 (Spherical Mercator)
Setting up table: planet_osm_point
Setting up table: planet_osm_line
Setting up table: planet_osm_polygon
Setting up table: planet_osm_roads

Reading in file: ../planet-090311.osm
Processing: Node(319877k) Way(11648k) Relation(0k)

Aber lt. dieser Seite habe ich alle DBs importiert…

Ausgabe:

net-latest.osmroot/src/mapnik/osm2pgsql$ time ./osm2pgsql --slim -d gis /etc/pla
osm2pgsql SVN version 0.69-20502

Using projection SRS 900913 (Spherical Mercator)
Setting up table: planet_osm_point
HINWEIS:  Tabelle ?planet_osm_point? existiert nicht, wird ?bersprungen
HINWEIS:  Tabelle ?planet_osm_point_tmp? existiert nicht, wird ?bersprungen
Setting up table: planet_osm_line
HINWEIS:  Tabelle ?planet_osm_line? existiert nicht, wird ?bersprungen
HINWEIS:  Tabelle ?planet_osm_line_tmp? existiert nicht, wird ?bersprungen
Setting up table: planet_osm_polygon
HINWEIS:  Tabelle ?planet_osm_polygon? existiert nicht, wird ?bersprungen
HINWEIS:  Tabelle ?planet_osm_polygon_tmp? existiert nicht, wird ?bersprungen
Setting up table: planet_osm_roads
HINWEIS:  Tabelle ?planet_osm_roads? existiert nicht, wird ?bersprungen
HINWEIS:  Tabelle ?planet_osm_roads_tmp? existiert nicht, wird ?bersprungen
Mid: pgsql, scale=100, cache=800MB, maxblocks=102401*8192
Setting up table: planet_osm_nodes
HINWEIS:  Tabelle ?planet_osm_nodes? existiert nicht, wird ?bersprungen
HINWEIS:  CREATE TABLE / PRIMARY KEY erstellt implizit einen Index ?planet_osm_nodes_pkey? f?r Tabelle ?planet_osm_nodes?
Setting up table: planet_osm_ways
HINWEIS:  Tabelle ?planet_osm_ways? existiert nicht, wird ?bersprungen
HINWEIS:  CREATE TABLE / PRIMARY KEY erstellt implizit einen Index ?planet_osm_ways_pkey? f?r Tabelle ?planet_osm_ways?
Setting up table: planet_osm_rels
HINWEIS:  Tabelle ?planet_osm_rels? existiert nicht, wird ?bersprungen
HINWEIS:  CREATE TABLE / PRIMARY KEY erstellt implizit einen Index ?planet_osm_rels_pkey? f?r Tabelle ?planet_osm_rels?

Reading in file: /etc/planet-latest.osm
Processing: Node(330k) Way(0k) Relation(0k)

Lass ihn mal laufen, mal sehen was raus wird :-/

lutz · 2010-03-28T08:05:37.000Z

du hast ja gleich am anfang die fehlermeldung, das deine tabellen nicht existieren,
ich würde mir pgadminIII installieren und nachschauen ob alle tabellen in
der datenbank gis vorhanden sind…

grüße von lutz

deltabrasil · 2010-03-28T14:29:08.000Z

Welches SQL-File ist fürt die Tabellen zuständig?

lutz · 2010-03-28T15:18:35.000Z

hallo,

die tabellen werden von osm2pgsql angelegt,
habe mir mal eine neue osm-datenbank angelegt, und ein osm-file reingeladen,
da wird mir jetzt auch angezeigt, das die tabellen nicht existieren würden, diese sind
aber da und wurden ohne fehlermeldung gefüllt…
warum testest du nicht erst mit einem kleineren osm ausschnitt, um zu sehen ob da funktioniert…

grüße von lutz

Ldp · 2010-03-28T16:09:40.000Z

Hinweis != Fehler

lutz · 2010-03-28T16:19:29.000Z

nicht ganz,

beim wiederholten befüllen, erscheint der hinweiß nicht mehr,
ich gehe davon aus, das gescheckt wird ob die tabellen da sind, wenn nicht
werden diese angelegt…

grüße von lutz

deltabrasil · 2010-03-28T17:33:33.000Z

lutz,

Gute Idee!!!einself Ich nehm einfach mal nen kleinen Dump von der API und schieb ihn durch osm2pgsql. Wenn der kleine Dump drin ist, sollten die Tabellen ja auch da sein und füllbar

Ldp · 2010-03-28T18:48:31.000Z

Ich meine: dass sind nur Hinweise. Die Tabellen werden angelegt wenn sie nich da sind. Die Hinweise für die _tmp Tabellen gibts auch immer.

Bikeman2000 · 2010-04-06T18:01:46.000Z

Ich bin einer ähnlichen Anleitung gefolgt und habe einen ähnlichen Fehler
http://weait.com/content/build-your-own-openstreetmap-server-ubuntu-1004-lucid-lynx

PostGIS: SRID warning, using srid=-1
Traceback (most recent call last):
File “./generate_image.py”, line 37, in
mapnik.load_map(m,mapfile)
RuntimeError: PSQL error:
FEHLER: Relation »planet_osm_polygon« existiert nicht
LINE 3: from planet_osm_polygon
^
Full sql was: ‘select * from
(select way,aeroway,amenity,landuse,leisure,man_made,military,“natural”,power,shop,tourism,name
from planet_osm_polygon
where landuse is not null
or leisure is not null
or shop is not null
or aeroway in (‘apron’,‘aerodrome’)
or amenity in (‘parking’,‘university’,‘college’,‘school’,‘hospital’,‘kindergarten’,‘grave_yard’)
or military in (‘barracks’,‘danger_area’)
or “natural” in (‘field’,‘beach’,‘heath’,‘mud’,‘wood’)
or power in (‘station’,‘sub_station’)
or tourism in (‘attraction’,‘camp_site’,‘caravan_site’,‘picnic_site’,‘zoo’)
order by z_order,way_area desc
) as leisure
limit 0’
(encountered during parsing of layer ‘leisure’)

Ich habe allerdings aus Zeitgründen nicht die planet.osm heruntergeladen und importiert sondern nur einen Extrakt für meine Stadt.

Den oben beschriebenen Fehler habe ich übrigens auch schon beim .osm import.
Ich verwende folgenden Befehl für den Import:

./osm2pgsql -S default.style -slim -d gis -C 2048 ~/planet/duesseldorf.bz2