Betreibt hier jemand einen Overpass server mit area extension? Ich habe ein paar spezifische Fragen.
Gruß,
Zecke
Sind das dieselben Fragen die du auch auf der Overpass dev Liste gepostet hattest? Offenbar hatte noch niemand Zeit Dir zu antworten. Der Prozess läuft mit >24h sehr langsam und ist auch unvollständig durch den Timeout. Welche Hardware hängt da drunter? Und benötigst du alle areas, ansonsten würde ich vorschlagen das rules file auszudünnen.
Hardware: i7, 6-Cores, 24 GB RAM, RAID-1, 4 TB
Wenn ich den Prozess abbreche und den Timeout erhöhe, reicht das evtl.? Oder muss ich da erst irgendeine Art Cleanup machen weil’s sonst inkonsistent wird? Die rules einschränken, darüber müssen wir nochmal intern diskutieren, aktuell brauchen wir die areas eh nur für eine Anwendung.
Wir können das auch gerne auf der Liste weiterdiskutieren.
Gruß,
Zecke
Es gab schon einen bugreport mit Laufzeiten >24h:
https://github.com/drolbr/Overpass-API/issues/290
Leider gab es kein follow up dazu. Nach meiner Erfahrung sollte die Erzeugung zumindest auf ssd unter 14h laufen. Produktiv wird ein Delta-Mechanismus verwendet, der Areas oft schon in <1h aktuell hält, dafür werden allerdings attic Daten benötigt.
Ich würde mal versuchen, den Timeout hochsetzen:
https://github.com/drolbr/Overpass-API/blob/master/src/rules/areas.osm3s#L2
Danach am besten den dispatcher stoppen, area files aufräumen, Dispatcher Neustarten.
Soviel vorerst vom Handy aus, habe gerade kein System zur Hand.
Sieht hier ziemlich ähnlich aus. SSD geht leider nicht, es gibt zwar eine, aber die ist für die Overpass-DB zu klein.
“aufräumen” meint genau was? alle files, die mit “area” anfangen, löschen?
Gruß,
Zecke
Man muss das nicht unbedingt als Entweder-oder-Entscheidung sehen. Einzelne Dateien lassen sich ohne weiteres auch auf die SSD verschieben, solange man im DB-Verzeichnis einen entsprechenden symbolischen Link auf den neuen Ort erstellt (DB dafür runterfahren). Ist zwar etwas komplizierter, sollte aber eine spürbare Performanceverbesserung bringen. Die Dateien nodes.bin*, nodes.map*, ways.bin* und ways.map* wären glaube ich ganz gute Kandidaten hierfür.
Genau, konkret wären das die folgenden Dateien:
-rw-rw-r-- 1 mmd mmd 3352100864 Dec 12 02:16 area_blocks.bin
-rw-rw-r-- 1 mmd mmd 121528 Dec 12 02:16 area_blocks.bin.idx
-rw-rw-r-- 1 mmd mmd 3769892864 Dec 12 02:16 area_tags_global.bin
-rw-rw-r-- 1 mmd mmd 57798 Dec 12 02:16 area_tags_global.bin.idx
-rw-rw-r-- 1 mmd mmd 517865472 Dec 12 02:16 area_tags_local.bin
-rw-rw-r-- 1 mmd mmd 140951 Dec 12 02:16 area_tags_local.bin.idx
-rw-rw-r-- 1 mmd mmd 21 Dec 11 10:16 area_version
-rw-rw-r-- 1 mmd mmd 198180864 Dec 12 02:16 areas.bin
-rw-rw-r-- 1 mmd mmd 1288 Dec 12 02:16 areas.bin.idx
Das mit dem selektiven Verlagern auf die SSD ist eine Idee, die ich mal ausprobieren werde. Was die Areas angeht werde ich dann mal tabula rasa machen und mit deutlich höherem Timeout probieren.
Danke,
Zecke
Areas gehen jetzt auch gut. 24h waren zu wenig, 26h hätte es gebraucht…
Gruß,
Zecke