Boundaries Map 4.1 released

Communities Deutschland (Germany)
21

Zero, nothing - und das von Anfang an :frowning:

22

Dazu eine kurze Nachfrage: ist darin ein kompletter Planet auf Postgres enthalten?
Könnte man den auch so eindampfen, dass nur noch z.B. Boundaries drin sind?

Ich habe da 2 Szenarien im Kopf:

  1. Planet-File tĂ€glich updaten, Boundaries extrahieren, Postgres damit fĂŒttern
  2. Overpass lĂ€uft die ganze Zeit mit Minutely updates (Planet benötigt etwa 200GB), je nach Bedarf Boundaries extrahieren, Postgres damit fĂŒttern
23

Ich kenne mich damit ĂŒberhaupt nicht aus. Aber bei Wikipedia gibt es wohl so einen Hosting-Service fĂŒr Werkzeuge und Ă€hnliches: das Wikimedia Tool Labs

WĂ€re so etwas vielleicht auch fĂŒr OSM eine sinnvolle Idee? Oder was sprĂ€che dagegen?

24

Nö, der Planet wird fĂŒr alle möglichen - und unmöglichen - Anwendungen und Auswertungen verwendet.

manche Anwendungen sind auch “Realtime”, wenn der Update mal wieder flutscht.

Verwendet die Overpass nicht ein spezielles Datenbankschema? Zumindest war das frĂŒher so und erklĂ€rte mir auch die super Geschwindigkeit bei Abfragen.

200 GB ist natĂŒrlich winzig. Da passt bei mir gerade mal eine Tabelle rein.

Hier mal die Grössen der Basistabellen und einiger der Indixes:


 public | planet_osm_line                       | Tabelle | postgres   | 184 GB     | linestrings mit tags? - osm_id
 public | planet_osm_nodes                      | Tabelle | postgres   | 8192 bytes | rohdaten nodes (leer)
 public | planet_osm_point                      | Tabelle | postgres   | 15 GB      | Nodes mit Tags (POI) - osm_id
 public | planet_osm_polygon                    | Tabelle | postgres   | 127 GB     | Geschlossen Linestrings und Multipolygone - osm_id
 public | planet_osm_rels                       | Tabelle | postgres   | 2555 MB    | Rohdaten Relationen, id
 public | planet_osm_roads                      | Tabelle | postgres   | 16 GB      | 
 public | planet_osm_ways                       | Tabelle | postgres   | 86 GB      | Rohdaten ways, id

 public | planet_osm_line_index                 | Index | postgres   | planet_osm_line             | 23 GB      | 
 public | planet_osm_line_pkey                  | Index | postgres   | planet_osm_line             | 4274 MB    | 
 public | planet_osm_line_tags_index            | Index | postgres   | planet_osm_line             | 6785 MB    | 
 public | planet_osm_nodes_pkey                 | Index | postgres   | planet_osm_nodes            | 8192 bytes | 
 public | planet_osm_point_index                | Index | postgres   | planet_osm_point            | 5323 MB    | 
 public | planet_osm_point_pkey                 | Index | postgres   | planet_osm_point            | 2328 MB    | 
 public | planet_osm_point_place                | Index | postgres   | planet_osm_point            | 201 MB     | 
 public | planet_osm_point_tags_index           | Index | postgres   | planet_osm_point            | 2813 MB    | 
 public | planet_osm_polygon_index              | Index | postgres   | planet_osm_polygon          | 16 GB      | 
 public | planet_osm_polygon_pkey               | Index | postgres   | planet_osm_polygon          | 6341 MB    | 
 public | planet_osm_polygon_tags_index         | Index | postgres   | planet_osm_polygon          | 6999 MB    | 
 public | planet_osm_rels_idx                   | Index | postgres   | planet_osm_rels             | 10 MB      | 
 public | planet_osm_rels_parts                 | Index | postgres   | planet_osm_rels             | 2341 MB    | 
 public | planet_osm_rels_pkey                  | Index | postgres   | planet_osm_rels             | 218 MB     | 
 public | planet_osm_roads_index                | Index | postgres   | planet_osm_roads            | 2005 MB    | 
 public | planet_osm_roads_pkey                 | Index | postgres   | planet_osm_roads            | 478 MB     | 
 public | planet_osm_roads_tags_index           | Index | postgres   | planet_osm_roads            | 1106 MB    | 
 public | planet_osm_ways_idx                   | Index | postgres   | planet_osm_ways             | 332 MB     | 
 public | planet_osm_ways_nodes                 | Index | postgres   | planet_osm_ways             | 188 GB     | 
 public | planet_osm_ways_pkey                  | Index | postgres   | planet_osm_ways             | 13 GB      |

Und da kommt noch manch anderes dazu.

Ein Full Import des Planeten ist bei mir derzeit illusorisch. Mit 24 oder auch 32 GB Memory klappt das nie. Frederik schrieb mal vor 2-3 Monaten, dass ein Import aus technischen GrĂŒnden inzwischen mindestens 64 GB braucht.

@frederik: ich kann deinen Beitrag leider nicht mehr finden, daher nur ein “GedĂ€chtnisprotokoll”

Gruss
walter

25

Hi,

das kummulierte Erfassen der Exports funzt schon ganz gut:


select * from usage_by_user;select * from usage_by_ip;
 userid  |  bytes   | count |         ts          
---------+----------+-------+---------------------
 4473xxx |   266782 |    23 | 2016-10-03 14:42:44
  362xxx | 12023176 |     1 | 2016-10-03 16:26:46
 3408xxx | 80913251 |     1 | 2016-10-03 16:42:06
 4668xxx | 91716789 |     9 | 2016-10-03 17:15:36
(4 Zeilen)

       ip       |  bytes   | count |         ts          
----------------+----------+-------+---------------------
 178.203.xxx.xx |   266782 |    23 | 2016-10-03 14:42:44
 176.92.xxx.xxx | 12023176 |     1 | 2016-10-03 16:26:46
 87.213.xxx.xxx | 80913251 |     1 | 2016-10-03 16:42:06
 96.27.xx.xx    | 91716789 |     9 | 2016-10-03 17:15:36
(4 Zeilen)

Jetzt “nur noch” die Aktion drauf und dann warten mer mal ab.

26

Ja, irgendwie schade. Ich hatte gehofft, dass z.B. die Boundaries Map viel Last und Traffic produziert und hĂ€tte nur diese dann ausgelagert auf einen eigenen minimalen Server (wie oben beschrieben). Du kannst ja weiterhin den Planet auf deinem Rechner nutzen, nur die ganzen externen User wĂŒrden dann wegfallen.

Weitere Ideen:

  • Ergebnisse cachen, oder vorberechnen und als File ablegen.
  • Warteschlange einfĂŒhren, maximale Zahl an Tasks. Wenn zuviel los ist, lĂ€uft irgendwann ein Job, wenn der fertig ist, gibt’s eine Email-Benachrichtung mit Download-Link.
27

Ja, der reine Export (Zusammenstellen der Grenzen und Umformung in das gewĂŒnschte Format) kostet natĂŒrlich auch Leistung, aber dafĂŒr hab ich ja die vielen Cores. Da qualmen mal 1-2 Cores einige Zeit und dann ist der jeweilige Export fertig zum Hochladen (oder Runterladen, je nach “Standpunkt” ;)).

ist eines der Highlights der 4.1 :slight_smile:

Ja, das könnte man fĂŒr die 4.x machen. Ich denk mal drĂŒber nach.

Danke und Gruss
walter

28

Moin,

die Release 4.1 der Boundaries Map ist freigegeben. :slight_smile:

Der Update erfolgt automatisch und sollte eigentlich keine Probleme machen.

Weitere informationen: https://wambachers-osm.website/index.php/projekte/internationale-administrative-grenzen/boundaries-map-4-1
bzw https://wambachers-osm.website/index.php/projekte/internationale-administrative-grenzen/boundaries-map-4-1-english-version

FĂŒr die Mithilfe bei der Übersetzung ins Englische möchte ich mich gerne bei den Kollegen bedanken.

Gruss
walter

29

Hi every one,
Sorry I don’t speak german
 I just wanted to know if the OSM Boundaries Map 4.1 (https://osm.wno-edv-service.de/boundaries/) is still supported. Indeed, when I go to the website I have an infinite loading icon and the search doesn’t do anything. This is my first time ever on this website, I can’t tell you from when it has been this way.
Thanks

30

ItÂŽs under construction.