Wie lange dauert der Import eines Planetfiles mit osm2pgsql ?

Wuestenfuchs · 2011-01-28T19:32:10.000Z

Hallo,
mir ist schon bewusst das der Atom nich grad der schnellste ist.
Das teil brauch halt nur 20W und kann wegen mir wochenlang durchlaufen.

aighes · 2011-01-28T19:35:06.000Z

Wenn du Planetfile sagst, meinst du dann den kompletten Planeten, oder ein kleineres Extrakt der Gegend, die du brauchst? Das dürfte die Sache deutlich beschleunigen…

efred · 2011-01-28T19:41:14.000Z

super… wenn es aber wochenlang durchlaufen kann, dann verstehe ich die urspüngliche Frage nicht. Denn mit einem Atom und nur 2 GB Ram wirst Du unter Umständen wohl effektiv noch Wochen warten müssen.

Wuestenfuchs · 2011-01-28T19:42:19.000Z

Ich importe gerade den ganzen Planeten,
mich interresiert ja auch nur, bei welchen Werten osm2pgsql ca. fertig ist.

Also welche werte ca. bei Node, Way, Relation am ende stehen?

Wuestenfuchs · 2011-01-28T19:43:45.000Z

Wenn es noch Wochen dauert, würde ich jetzt abschalten und das ganze auf meinem 6-core laufen lassen.
Wenn der Import jedoch in 2 Tagen fertig ist, würde ich noch warten

Oli-Wan · 2011-01-28T19:44:51.000Z

Wuestenfuchs:

Processing: Node(938392k) Way(44468k) Relation(0)

Richte Dich mal auf etwa 80M Wege und 800k Relationen ein.

[edit: Das mit den Präpositionen lerne ich auch noch irgendwann.]

aighes · 2011-01-28T19:46:55.000Z

Naja, bei Nodes sind wir ungefähr bei > 1 Mrd., bei Wegen ungefähr bei 100 Mio. Allerdings dürften es effektiv weniger sein, weil ja auch Objekte gelöscht werden.

Wuestenfuchs · 2011-01-28T19:48:09.000Z

Oli-Wan:

Wuestenfuchs:

Processing: Node(938392k) Way(44468k) Relation(0)

Richte Dich mal etwa 80M Wege und 800k Relationen ein.

Danke. Ich schalte den Atom ab und mache auf dem 6-core weiter

monotar · 2011-01-28T19:48:14.000Z

Wuestenfuchs:

Das teil brauch halt nur 20W und kann wegen mir wochenlang durchlaufen.

dir ist schon bewusst, dass du einen 6-core auch wieder schneller ausschalten kannst, selbst wenn er mehr verbraucht?

chris66 · 2011-01-28T19:50:25.000Z

Wuestenfuchs:

Aktuell ist er bei:
Processing: Node(938392k) Way(44468k) Relation(0)

Ist das die Anzahl oder ID der importierten Objekte?

höchste Node ID zur Zeit ist ca. 1100 Mio.
höchste Way ID ca. 97 Mio.

Chris

Wuestenfuchs · 2011-01-28T19:55:02.000Z

monotar:

Wuestenfuchs:

Das teil brauch halt nur 20W und kann wegen mir wochenlang durchlaufen.

dir ist schon bewusst, dass du einen 6-core auch wieder schneller ausschalten kannst, selbst wenn er mehr verbraucht?

Ich kann den Import aber nicht mittendrin unterbrechen oder?

aighes · 2011-01-28T19:55:31.000Z

Nochmal die Frage:
Bist du denn sicher, dass du den ganzen Planeten brauchst? Bei Europa wären es noch ca. 1/3 der Daten, bei Deutschland noch weniger. Dann könnte man auch osmosis und das pbf-Format nutzen, was das ganze nochmal deutlich beschleunigen dürfte. pbf ist im vergleich zum xml-Format beim erzeugen von normalen Daten rund 7mal schneller, bei Datenbanken dürfte es ähnlich sein. Wenn du europa nutzen möchtest, musst du eine osmosis-Version ab heutigen Datum nutzen.

@chris: bei den nodes sind wir schon über der Milliarde. (höchste ID)

chris66 · 2011-01-28T19:57:00.000Z

aighes:

@chris: bei den nodes sind wir schon über der Milliarde. (höchste ID)

Ja, hatte ich oben schon korrigiert.
Bei den Ways ist er also ca. bei der Hälfte.

Chris

Wuestenfuchs · 2011-01-28T19:59:29.000Z

Ich bin auf dem Gebiet noch ziemlich neu,
mit osmosis habe ich Mapnik nicht zum laufen gebracht, das brauche ich aber da ich auf die OSM Daten eigene Objekte draufrendern möchte.

Ich brauche Europe, Californien und Philippinen, ok ich probier das ganze mal getrennt zu importieren.

Gruss

Wuestenfuchs · 2011-01-28T20:00:19.000Z

Ich lasse den Atom mal weiterwerkeln und starte mit dem 6core

aighes · 2011-01-28T20:05:46.000Z

chris66:

aighes:

@chris: bei den nodes sind wir schon über der Milliarde. (höchste ID)

Ja, hatte ich oben schon korrigiert.
Bei den Ways ist er also ca. bei der Hälfte.

Ja und bei den Nodes ist er durch…ich würde es nicht abbrechen…

efred · 2011-01-28T20:28:19.000Z

Wuestenfuchs:

Ich kann den Import aber nicht mittendrin unterbrechen oder?

geht schon. Du musst aber auf jedenfall wieder neu anfangen - das heisst, Du kannst nicht auf einem anderen Rechner dort weitermachen, wo Du jetzt aufhören würdest.

Wuestenfuchs:

Ich lasse den Atom mal weiterwerkeln und starte mit dem 6core

~~auch wenn der Atom schon 4 Tage lief, ich nehme jetzt mal schwer an, der 6core wird einiges früher fertig sein. (ich hoffe mal, der 6core hat mehr als nur 2 GB Ram)~~

Edit: ohhh hoppla… jetzt sehe ich erst das k bei den Zahlen… Sorry… Durchlaufen lassen, bloss nicht abbrechen… Das dauert nicht mehr allzulange…

Wuestenfuchs · 2011-01-29T22:10:08.000Z

Nodes und Ways sind jetzt fertig. Fehlen nur noch die Relations.
Uptime bisher: 6 days 20 hours

Processing: Node(938392k) Way(79069k) Relation(9240)

Hier nochmal die Daten zum System, falls das später mal wen interessiert.

System: Foxconn Netbox nt-330i
CPU: Atom 330i Dual-Core
OS: Debian 64bit
HDD: 640GB
RAM: 2GB

File: planet-110119.osm.bz2
osm2pgsql: 0.70.5

ajoessen · 2011-01-31T07:43:44.000Z

efred:

Wuestenfuchs:

Ich kann den Import aber nicht mittendrin unterbrechen oder?

geht schon. Du musst aber auf jedenfall wieder neu anfangen - das heisst, Du kannst nicht auf einem anderen Rechner dort weitermachen, wo Du jetzt aufhören würdest.

Wuestenfuchs:

Ich lasse den Atom mal weiterwerkeln und starte mit dem 6core

~~auch wenn der Atom schon 4 Tage lief, ich nehme jetzt mal schwer an, der 6core wird einiges früher fertig sein. (ich hoffe mal, der 6core hat mehr als nur 2 GB Ram)~~

Edit: ohhh hoppla… jetzt sehe ich erst das k bei den Zahlen… Sorry… Durchlaufen lassen, bloss nicht abbrechen… Das dauert nicht mehr allzulange…

Das ist ein Trugschluß: Die Nodes rauschen ziemlich schell durch, für die anderen braucht es halt. Da muß er schließlich auch die members speichern.

gruß,
ajoessen

brogo · 2011-01-31T08:40:45.000Z

Und nachher kommt osm2pgsql noch mit “processing ways” und “prcoessing relations”. Das kann dann auch noch mal ein paar Tage dauern.

Beim Import mit osm2pgsql gibt es übrigens sher viele Faktoren, die die Dauer bestimmen. So sollte man z.B. Postgres 8.3 nehmen, da diese für unsere Zwecke am schnellsten ist. Besonders wichtig ist die Festplattengeschwindigkeit; gut ist da ein RAID-Verbund oder SSD-Festplatte. Dann gibt es noch in Postgres etliche Einstellungen, wie Buffer, die enormen Einfluß auf die Geschwindigkeit haben können.

Christian