vor einiger zeit mal kam hier das thema auf, dass download.geofabrik.de
sehr viel traffic hat. das liegt wohl daran, dass viele leute interesse
an den daten haben… aber braucht immer jeder gleich das bundesland?
würden nicht städte bzw. kreise reichen?
mit hilfe meines programmes kann man nun sehr einfach aus validen
grenzrelationen osmosis polygon files machen, die man (frederik) dann
zum extrahieren der daten mit osmosis nutzen kann.
ALSO: wer hat interesse an welchen gebieten? (wenn jemand schon die
relation id und name der relation hat, bitte mitsenden)
frederik würde bandbreite sparen und euer download ginge auch schneller!
ps: ist erst mal nur eine idee und frederik muss natürlich letztendlich
entscheiden, was er anbietet.
ich denke, dass hier vor allem zunächst die Städte von Interesse sein werden.
Zum Reduzieren des Download-Volumens stellt sich mir die Frage, ob man durch eine Handvoll Mirrors nicht eine große Entlastung des Hauptservers schaffen könnte.
Dazu bräuchte es nicht viel:
Einer Liste mit Mirrors (ggf. auf dem zentralen Server verwaltet). Der zentrale Server kann dann die Anfrage direkt an den Mirror leiten und der Download von dort laufen. Evtl sollte dieses Skript noch ein bißchen die Gesamtlast verteilen (sprich die Downloadmengen gleichverteilen)
Ein Skript für die Mirrors, damit diese sich regelmäßig (automatisiert) die Updates ziehen können
tja, auch daran hatten wir schon gedacht. frederik meint aber, dass alleine durch dass “mirroren” schon fetter traffic entsteht. und ich glaube, da hat er nicht unrecht… weil er ja jeden tag die komplette menge an daten an jeden mirror liefern muss.
Das ist sicher eine Frage, wie das Mirroring (Sch… Wort) aufgesetzt wird und wie wichtig die Entlastung des primären Servers (im Sinne der Datenquelle ist)
Natürlich wird durch das Spiegeln (Deutsch klingt doch gar nicht so schlecht …) selbst eine gewisse Grundlast erzeugt. Um diese möglichst gering zu halten (und damit letzten Endes die Last am Server zu reduzieren), sollte
das Spiegeln auf stark genutzte Daten reduziert werden
das Spiegeln selbst “intelligent” sein (nur geänderte Daten)
der Spiegel-Zyklus etwas größer als ein Tag sein (dieses Alter wird in den meisten Fällen ausreichend sein, Echtzeitdaten können ja in keinem Fall zu Verfügung gestellt werden)
“Unterserver” zum Spiegeln nutzen, wie es z.B. beim Zeitnormal gemacht wird (an Hauptmirrors übertragen und dann über diese weiter replizieren)
einzelnen Spiegelservern nur Teilmengen des gesamten Datenbestands geben, z.B. nach Bundesländern / Städten getrennt (reduziert Übertragungszeit und -volumen). In diesem Fall sollte aber auf jeden Fall der Primärserver die Weiterleitung übernehmen
Das ganze könnte man sich auch bedeutend einfacher machen.
Zuerst bräuchte es erstmal wieder einen stabilen und erreichbaren XAPI Zugang. Wenn da Tagelang nichts kommt oder bei Informationfreeway auf Bearstech umgeroutet wird, das ankommende File aber nicht von OSM gelesen werden kann weil der Server keine Versionen und dafür aber überflüssige XML Daten liefert, bleibt einem nur das Laden von riesigen Files. Das ist nun leider schon seit Wochen so.
Noch besser wäre das ganze beispielsweise gleich über JOSM. Nach Schlüsseln gefilterte Downloads im ausgewählten Gebiet. Und fexible Gebiete anhand einer Polygonauswahl oder ähnliches. Dann könnte man komplett auf zurechtgeschnittene OSM Files verzichten und sowas nur noch als Backup anbieten.
Naja, du musst auch berücksichtigen, dass die osm-Files um den Faktor 15 größer sind, als die gepackten Karten. Von daher finde ich fertige Ausschnitte sinnvoller, wenn man sich Karten erstellt.
Ich arbeite viel an größeren Dingen wie Stromleitungen und anderer Infrastruktur Trassen mit ensprechenden Längen. Das kann man nur gefiltert über größere Gebiete bearbeiten. Manchmal braucht man mal eben dieses und jenes Gebiet mit meinem zeitnahmen stand.
Es wäre eine bedeutende Erleichterung für Normalmapper wie mich, wenn man sowas direkt über JOSM ziehen könnte. Vor allem wenn wie aktuell ewig kein XAPI läuft.
Ich denke, dass sich diese zwei Ansätze nicht ausschließen, sondern ergänzen.
Es wird immer Fälle geben, in dernen man ein (großes) Gebiet bearbeitet, aber nur eine Untermenge der Daten benötigt.
Es macht aber auch Sinn, die Daten aus Gebiete (seien es Rechtecke oder noch besser Polygone) zur Verfügung zu haben, um mit diesen weiterzuarbeiten. Diese können auch für viele Anwendungen ein gewisses Alter haben (wie jede gerenderte Karte). Die Bereitstellung über fertige Extrakte würde dann auch dafür sorgen, dass der eigentliche OSM-Server entlastet würde.