Wie lange dauert der Import eines Planetfiles mit osm2pgsql ?

Communities Deutschland (Germany)
1

Hallo,

ich widme mich gerade den OSM Projekt,
ich will meine Routen und Touren per Mapnik rendern, dazu importiere ich gerade das Planetfile.

Mein kleiner dual-core Atom 2x1.6Ghz 2GB Ram, 640GB HD importiert nun seit 4 Tagen
und ich weiss nicht wie lange ich noch warten muss :wink:

Aktuell ist er bei:
Processing: Node(938392k) Way(44468k) Relation(0)

Wie gross sind ca. die Way und Relation Werte? Dann haette ich zumindest einen Anhaltspunkt um die Restdauer berechnen zu koennen.

Planetfile hat um die 14GB

Gruss Andreas

2

sowas mit einem Atom zu machen, ist nicht gerade optimal und empfehlenswert…

3

Nimm besser einen Intel 486 DX2 mit 66MHz

4

Hallo,
mir ist schon bewusst das der Atom nich grad der schnellste ist.
Das teil brauch halt nur 20W und kann wegen mir wochenlang durchlaufen.

5

Wenn du Planetfile sagst, meinst du dann den kompletten Planeten, oder ein kleineres Extrakt der Gegend, die du brauchst? Das dürfte die Sache deutlich beschleunigen…

6

super… wenn es aber wochenlang durchlaufen kann, dann verstehe ich die urspüngliche Frage nicht. Denn mit einem Atom und nur 2 GB Ram wirst Du unter Umständen wohl effektiv noch Wochen warten müssen.

7

Ich importe gerade den ganzen Planeten,
mich interresiert ja auch nur, bei welchen Werten osm2pgsql ca. fertig ist.

Also welche werte ca. bei Node, Way, Relation am ende stehen?

8

Wenn es noch Wochen dauert, würde ich jetzt abschalten und das ganze auf meinem 6-core laufen lassen.
Wenn der Import jedoch in 2 Tagen fertig ist, würde ich noch warten :slight_smile:

9

Richte Dich mal auf etwa 80M Wege und 800k Relationen ein.

[edit: Das mit den Präpositionen lerne ich auch noch irgendwann.]

10

Naja, bei Nodes sind wir ungefähr bei > 1 Mrd., bei Wegen ungefähr bei 100 Mio. Allerdings dürften es effektiv weniger sein, weil ja auch Objekte gelöscht werden.

11

Danke. Ich schalte den Atom ab und mache auf dem 6-core weiter :slight_smile:

12

dir ist schon bewusst, dass du einen 6-core auch wieder schneller ausschalten kannst, selbst wenn er mehr verbraucht?

13

Ist das die Anzahl oder ID der importierten Objekte?

höchste Node ID zur Zeit ist ca. 1100 Mio.
höchste Way ID ca. 97 Mio.

Chris

14

Ich kann den Import aber nicht mittendrin unterbrechen oder?

15

Nochmal die Frage:
Bist du denn sicher, dass du den ganzen Planeten brauchst? Bei Europa wären es noch ca. 1/3 der Daten, bei Deutschland noch weniger. Dann könnte man auch osmosis und das pbf-Format nutzen, was das ganze nochmal deutlich beschleunigen dürfte. pbf ist im vergleich zum xml-Format beim erzeugen von normalen Daten rund 7mal schneller, bei Datenbanken dürfte es ähnlich sein. Wenn du europa nutzen möchtest, musst du eine osmosis-Version ab heutigen Datum nutzen.

@chris: bei den nodes sind wir schon über der Milliarde. (höchste ID)

16

Ja, hatte ich oben schon korrigiert.
Bei den Ways ist er also ca. bei der Hälfte.

Chris

17

Ich bin auf dem Gebiet noch ziemlich neu,
mit osmosis habe ich Mapnik nicht zum laufen gebracht, das brauche ich aber da ich auf die OSM Daten eigene Objekte draufrendern möchte.

Ich brauche Europe, Californien und Philippinen, ok ich probier das ganze mal getrennt zu importieren.

Gruss

18

Ich lasse den Atom mal weiterwerkeln und starte mit dem 6core :slight_smile:

19

Ja und bei den Nodes ist er durch…ich würde es nicht abbrechen…

20

geht schon. Du musst aber auf jedenfall wieder neu anfangen - das heisst, Du kannst nicht auf einem anderen Rechner dort weitermachen, wo Du jetzt aufhören würdest.

auch wenn der Atom schon 4 Tage lief, ich nehme jetzt mal schwer an, der 6core wird einiges früher fertig sein. (ich hoffe mal, der 6core hat mehr als nur 2 GB Ram)

Edit: ohhh hoppla… jetzt sehe ich erst das k bei den Zahlen… Sorry… Durchlaufen lassen, bloss nicht abbrechen… Das dauert nicht mehr allzulange…