Planetfiles für Grenzgebiete?

Communities Deutschland (Germany)
1

Um die OSM-Server zu entlasten, wird darum gebeten, zur Erstellung von Karten auf Planetfiles wie die von GEOFABRIK zurückzugreifen.
Ich würde das gerne tun. Da mich jedoch eine grenzübergreifende Region interessiert, gestaltet sich das etwas schwierig. Um beispielsweise von der Wanderregion Nordeifel eine Karte zu erstellen, muß man das Planetfile von ganz Europa durch den Rechner jagen. Das dauert zum einen eine gefühlte Ewigkeit und zum anderen schafft ein kleiner Rechner das gar nicht. Meiner hing sich im Sommer schon beim Deutschland-File hoffnungslos auf, als ich die deutsche Nordeifel mit dem Map-Composer rendern wollte. Das NRW-File ging noch. Aber das war uninteressant, weil sich die Nordeifel-Karte auch in das benachbarte Bundesland erstreckt. Von der Belgischen Eifel mal ganz zu schweigen …

Die Eifel ist sicherlich nicht das einzige Wander-, Biker- und Reitgebiet, das sich über mehrere Grenzen erstreckt. Im grenzoffenen Europa wird der Bedarf an regionalen und gleichzeitig grenzübergreifenden Freizeitkarten steigen. Bedauerlich, wenn dafür kein passendes Planetfile zu finden ist. Wer kein Europafile oder Deutschlandfile verarbeiten möchten, ist gezwungen, regionale Ausschnitte vom OSM-Server herunter zu laden.

Angesichts der dank Bing sprunghaft anwachsenden Kartendaten werden die vom OSM-Server akzeptierten Downloads flächenmäßig allerdings immer kleiner. Und die Planetfiles werden in kurzer Zeit immer umfangreicher und sperriger. Es wird also immer schwieriger, sich eigene Karten zu erstellen, wenn man nicht ständig an der Leistung des PCs schrauben will.

Außerdem - Wer einen so leistungsstarken Rechner hat, daß er das Europafile schluckt, kommt zwar ohne Zugriff auf die OSM-Server zum Ziel, belastet aber gezwungenermaßen Geofabrik mit unnötig hohem Traffic, wenn er das ganze Europafile herunter lädt, obwohl er davon lediglich eine kleine Karte von einer grenzübergreifenden Region erstellen möchte.

Ich finde, das macht keinen Sinn.
Doch wie löst man das Problem am geschicktesten?

Gruß
tippeltappel

2

Das “kleinste” Problem dabei scheint zu sein, wie man die Daten / Planetfiles zum Download anbietet. Vielleicht hilft ein Blick über den “Gartenzaun”, um einmal zu schauen, wie es die anderen machen - also all jene, die große Downloads anbieten und es mit einer großen Zahl von Nutzern zu tun haben. Spontan fallen mir da folgende Optionen ein (die sich nicht unbedingt auch für OSM eignen):

Die Google-Methode: Man baut sich einfach eine hinreichend leistungsstarke, klimatisierte Serverfarm, um unzählige Zugriffe aus aller Welt und gigantische Datenmengen bewältigen zu können. Geld ist genug da - bei OSM dagegen leider nicht.

Die Linux-Methode: Statt einer großen Serverfarm findet man Linux-Images auf einer großen Zahl von Spiegel-Servern weltweit, z.B. an Universitäten. Dadurch wird jeder einzelne Server weniger belastet. Das ist schon praktikabler für OSM.

Dann stellt sich natürlich noch die Frage, wie man am besten verhindert, dass die User von der Datenflut erschlagen werden. Dafür wäre es hilfreich, wenn man die Daten schon auf dem Server (z.B. nach Region) filtern könnte - was natürlich wieder eine gewisse Serverbelastung darstellt. Dafür braucht man ein Datenformat, das eine solche Filterung erleichtert. Das neue PBF-Format kommt dem schon ein Stück weit entgegen, wenn man es geographisch sortiert, wie im Artikel beschrieben. Eine solche sortierte PBF-Datei ist am heimischen PC vielleicht auch noch ganz gut handhabbar (ich habe es bislang noch nicht ausprobiert).

3

moin moin, tippeltappel

du hast dir heute sehr spät/früh (?) wohl etwas frust vom leibe geschrieben. :wink:
das kann ich absolut verstehen, schlage ich mich ja auch gerade mit europe.osm.pbf rum, um “mein dachfenster auszuschneiden”.
download 5h, konvertieren pbf->pgimport still running, pgimport->sql open.

das ganze dürfte ohnen einen größeren umbau der server-struktur (cluster, gespiegelte server, …) wohl nicht zu machen sein, da auch für diese die zeit endlich ist.
und das kostet…

jetzt ne frage an die experten:

kann man zwei ausschnitte der db (z.b. germany… und austria…) NAHTLOS aneinanderfügen?

wenn ja, dann wären zwei sachen möglich.

-Für DACH würde ich halt die drei country-files runterladen und zusammenfügen.

  • man könnte dann die Rohdaten einfach kacheln (tiles!) und sich genau so wie die Browser sein Interessengebiet zusammenstellen.

ich glaube, damit könnte man einiges erschlagen.

lg
walter

4

Zwei Ausschnitte kann man zwar aneinanderfügen, aber von einem Ausschnitt in den anderen rüberrouten/navigieren geht leider nicht.

5

Natürlich nicht :wink:

Überleg doch mal: Ausschnitt 1 und 2 enthalten beide den gleichen grenzüberschreitenden Weg. Im ersten Ausschnitt sind 5 Knoten des Weges, im zweiten die nächsten drei, und der Rest wieder im ersten.
Wenn dir das unlogisch erscheint: Nimm nen Grenzüberschreitenden Wald.

Wie soll osmosis oder die Datenbank das zusammensetzen? Mit den aktuellen Einstellungen der Geofabrik werden alle ausserhalb liegenden Knoten und Referenzen hierauf gandenlos rausgeworfen. Täten sie das nicht, gäbe es an den Grenzen unreferenzierte Elemente, die deine Datenbank nicht mag.

Gruß,
ajoessen

6

moin moin,

du warst schneller ;(
… und schlägst in die gleiche kerbe. prima

Da sehe ich das Problem, daß sich das auf dem/den Server(n) schlecht skalieren läßt, weil der Server dann pro “Kunden” kräftig schaffen muss.
Das Modell den “Vorratsdatenspeicherung” der Geofabrik bereitet die Daten ja Nachts vor und stellt sie dann der Gemeinde zum reinen Download zu Verfügung.
Das halte ich momentan für sinnvoller - allerdings mit anderen Inhalten.
lg
walter

p.s.
google betreibt die weltweit gößte kommerzielle linux server-farm, d.h die “google-methode” ist die “linux-methode”, nur mit eigenen systemen.
wann kommt eigentlich gunix auf den markt? :wink:

7

“Aktuelle Einstelungen” kann man ändern.

ich hab mir die Rohdaten der Geofabrik noch nicht näher angesehen, kenn mich mit osmosis, der ja schießlich die ganze Arbeit macht, ziemlich gut aus.

Man kann beim Ausschneiden angeben, ob die Außenbereiche geclippt werden sollen oder nicht. Hier weiss ich noch nicht, was die geofabrik genau macht.
Nehmen wir mal an, es ist/wird so eingestellt, dass es keine unvollständigen ways und relations gibt.
Dann gibt es bei benachbarten Files Doppelgänger. Und die kann man “ganz einfach” beim Zusammensetzen rausfiltern. und das wars.

noch zwei Annahmen, die ich noch überprüfen muß:

  • es wird ein sog. Snapshot erstellt, von dem ausgehend dann die verschiedenen Extrakte erstellt werden. Damit sollten die Daten sauber sein (ein way in der aktuellen Version ist in mehreren Extrakten oder in keinem drin)
  • beim Mergen zweier osm-Files werden Doppelgänger eleminiert.

mal sehen, was sich da ergibt.
gruss
walter

8

Zum einen gubt es für germany und europe einen Spiegel http://ftp5.gwdg.de/pub/misc/openstreetmap/download.geofabrik.de/. Zum anderen gibt es ja noch die changefiles, mit denen man sich das einmal heruntergeladenen und zurechtgeschnittene extract immer wieder aktualisieren kann.

Letztere Variante würde ich bevorzugen, wenn man häufig die Daten updatet.

@wambacher: Wie die Geofabrik arbeitet kannst du in ihrem Blog nachlesen…

ps: Der Unterschied zwischen Linux-Image und OSM-Extract ist die häufigkeit des Updates. Wenn die Geofabrik x Mirrors hat, muss sie die Daten auch x-mal hochladen und erzeugt somit den x-fachen trafic, auch wenn die betreffende DAtei an dem Tag überhaupt nicht heruntergeladen wird. Das Linux-Image wird einmal im halben Jahr hochgeladen und gut ist.

9

Das Problem kenne ich von meiner Garminkartenerzeugung. Meine pragmatische Loesung sieht so aus, dass ich den kompletten Bereich meiner Karte basierend auf dem Europaausschnitt nur ab und an aktualisiere. Dazwischen schiebe ich dann haeufigere Updates fuer Karten-Kacheln, die komplett innerhalb des Deutschlandsausschnitts der Geofabrik liegen. Da ich immer mit festen Kachelgrenzen arbeite, lassen sich die unterschiedlich alten Daten normalerweise problemlos mischen.

Gruss
Torsten

10

mach ich ja demnächst. nur ist das thema so frisch, dass ich das heute noch nicht gemacht habe.

da hab ich was falsch gelesen. linux-images halte ich auch nicht für sinnvoll.

ansonsten benutze ich selbstverständlich die diff-files und halte somit meine datenbank aktuell. allerdings kommt es alle 2-3 monate dazu, dass man die db neu aufbauen muß.
und dann wirds kompliziert.
ausserdem kann/will nicht jeder eine eigene db aufsetzen, weil das ja für viele projekte oversized ist.

11

Sofern ein grenzüberschreitender Weg in beiden Files die gleiche ID hat (was eigentlich anzunehmen ist), sollte es möglich sein. Trivial in so ein Merge aber nicht, es müssen ja die Punkte eines Weges zusammengefügt werden (ohne Verdopplung!).

Wyo

12

hi,
sollte eigentlich auch gehen, da die nodes eines ways genauso eigene ids haben. und dann gibt es auch keine doppelgänger.
gruss
walter

da die verarbeitung des europe-files immer noch anhält, werd ich mich mal testweise an das flickwerk machen.
erstmal a und ch zusammenlegen und sehen, was da rauskommt. und das kleine liechtenstein wird eingemeindet.
Sind die eigentlich in der EU?
edit: hab nachgesehen: nein, nur ewr

“Wanderer, kommst du nach Liechstenstein, tret nicht daneben, tret voll hinein” - Ingo Insterburg

13

Das nicht, aber wie bekommst du die Reihenfolge der Knoten im Weg wieder zusammen?

Gruß,
ajoessen

14

ein way ist eine liste von nodes mit nen paar tags, mehr nicht.

die reihenfolge in der liste ist genau die reihenfolge der nodes. es steht nirgenswo drin “das ist der 1., 2., 3. knoten”
schau dir einfach mal ein kleines osm-file an, das du in josm einfach erzeugen kannst.
leere seite, way zeichnen, als osm-file abspeichern.

ansonsten würde ich mich jetzt gerne um meinen empirischen test kümmern, denn diskussionen der art "es kann nicht gehen, weil… " oder “es könnte gehen, wenn…”
oder gar “es darf nicht gehen, weil …” :wink: bringen - mir - hier nichts.

15

Ich hatte das “früher” schon mal probiert, sieht eigentlich ganz gut aus. Allerdings fehlen einzelne Weg-/Grenzlinien-Abschnitte, die durch den (ehemaligen) Schnitt verlaufen, so dass ich nicht mehr weiter die Routingfähigkeit intakter Wege überprüft und diese Möglichkeit verworfen habe.

Viele Grüße
Mario

16

Moin zusammen :slight_smile:

Frust vom Leib geschrieben …
Nunja.
Es ist halt eine sehr ernüchternde Erkenntnis, wenn einem klar wird, daß man die investierte Arbeit nicht mehr nutzen kann.

Ich habe mich begeistert auf die Bing-Bilder gestürzt und unter anderem in einem selten zugänglichen Grenzgebiet viele Tracks gemappt. Alle Anbieter von osm-Karten haben nun einen weißen Fleck weniger auf der Karte. Nur meine Karte wird davon nicht besser, weil sich der gewünschte Kartenausschnitt nicht mehr wie früher vom OSM-Server herunter laden läßt. Er ist inzwischen schlicht und ergreifend zu “voll”.
Da erhebt sich für mich natürlich die Frage, ob es Sinn macht, da weiter Zeit zu investieren und ob ich nicht nicht besser offline und ohne OSM einen Weg zu “meiner” Karte finde.

Wenn entlang von Grenzen Files von “Korridoren” angeboten würden,
oder wenn das immer größer werdende Planetfile in sich überlappenden Kartenschnitten aufgeteilt würde, wie man sie von traditionellen Wanderkartenanbietern kennt, dann wäre Nutzern wie mir sehr geholfen.
Ich erhoffe mir davon Filegrößen, die ein normaler “Haushaltsrechner” verarbeiten kann und auf dessen Ergebnis man nicht tagelang warten muß.
Die nach Bedarf erstellten Kartenausschnitte sind natürlich alles Einzelkarten, zwischen denen man in MapSource hin und her schalten muß. Wegen der Überlappung, die solche Karten haben müßten, sollte das aber kein Problem sein. Für den Gebrauch im GPS-Gerät können mehrere Karten ausgewählt und zu einer Karte gebündelt werden. Routen funktioniert natürlich nur innerhalb einer Karte. Mit etwas Geschick läßt sich dieses Handicap auf überlappenden Karten sicherlich handhaben. Da ich das Routing aber weder beim Wandern noch beim Reiten nutze, wäre mir das ziemlich egal. Für mich zählt nur, daß ich vom Wander-/Reitgebiet meines Interesses eine Karte in überschaubarer Zeit mit normaler Rechnerleistung selbst erstellen kann.

Mit einem Europafile geht das definitiv nicht,
mit einem Deutschlandfile auch nicht
Auch ein Bundeslandfile wie das von NRW ist inzwischen extrem groß.

Ich hab auch schon Einzel-Karten mit verschiedenen kleinen Planetfiles erstellt.
Ohne deutliche Überlappungen in den Grenzgebieten lassen sich solche Karten im Grenzbereich aber nicht gut nutzen.
Außerdem ist es ein irrer Zeitaufwand, von Dreiländerecken aus den verschiedenen Länderfiles die jeweilige Ecke auszuschneiden.

Für einen normalen User, der mit Begeisterung mappt und dann einfach mal den selbst konfigurierten Map-Composer anschmeißen will, um damit sein Wandergebiet zu rendern, ist das keine akzeptable Lösung.

Welche Wahl bleibt mir dann?

Im Moment keine.

Fertige Karten aus dem Netz herunter laden, ist für mich ebenfalls keine Alternative.
Ich möchte mein eigenes Kartenlayout auf dem Bildschirm/im GPS-Gerät sehen.

Gruß
tippeltappel

17

Also wenn es vorher noch herunterladbar war, sollte es jetzt in zwei Stücken noch herunterladbar sein, oder? Hast du mal versucht deinen Teil mit Josm herunterzuladen? Es gibt dort auch die Option für einen GPS track Daten entlang des Weges zu laden. Bei genügend Hauptspeicher und guten Einstellungen lädt Josm auch 20 Teile runter ohne dein zu tun. Diese einfach als osm abspeichern und vielleicht ist das Problem gelöst.

18

Da würde ich aber doch bitte die XAPI empfehlen. Sonst dauert das Hochladen für den gemeinen Mapper noch länger.

@tippeltappel:
Hast du dir mal die downloads von Cloudmade angesehen? Die sollen etwas großzügiger geschnitten sein.

Gruß,
Ajoessen

19

@ viw
Natürlich kann ich mit mit immer kleiner werdenden Teilstücken den API-Server dazu bewegen, mir verschiedene Kartenschnipsel auszuspucken. Und natürlich kenne ich auch Möglichkeiten, diese zu einer größeren Karte zusammenzubauen. Das löst aber das Problem nicht grundsätzlich. Wenn ein quadratischer Ausschnitt mit etwa 1 Grad Seitenlänge vom API-Server nicht downloadbar ist, weil sich darin detailliert gemappte Gebiete befinden, dann kann die Lösung nicht darin bestehen, den Downloadbereich immer weiter zu halbieren und diese dann in Etappen herunter zu laden.

Meine Ausgangsfrage hieß ja nicht, wie bekomme ich meine Kartendaten aus dem API-Server, sondern welche realisierbaren Wege gibt es, den API-Server zu entlasten?

Die Alternative, Planetfiles für die Kartenerstellung zu nutzten, ist halt eben in bestimmten Fällen keine.
Daher die Frage im Threadtitel:

      Planetfiles für Grenzgebiete?

Gruß Tippeltappel

20

@ ajoessen
Downloads von Cloudmade?
Nein, bei den Wolkenmachern war ich noch nicht.

Mal suchen gehen.

Danke. :slight_smile:

Gruß
Tippeltappel