Download-Möglichkeiten für MOBAC

Marqqs · 2011-10-29T12:23:00.000Z

Hallo!
Wie bekannt wird MOBAC (Mobile Atlas Creator) von den meisten Serverbetreibern sehr häufig geblockt. Das natürlich zu Recht, insbesondre dann, wenn das Programm massenhaft Tiles in den Zoomstufen 17 und 18 runderlädt. Diese Tiles müssen oft extra dafür gerendert werden, das kostet viel CPU-Zeit.

Ich will das Programm trotzdem für kleinere Kartenausschnitte verwenden und wär bereit, dafür CPU-Zeit zu bezahlen. Hat jemand Erfahrung mit sowas? Welche Anbieter gibt es?

aighes · 2011-10-29T12:28:24.000Z

Das Problem sind nicht nur die CPU-Zeiten sondern auch der Traffic insgesamt. Kleine Gegenden kann man doch auch sehr einfach selber rendern. Bspw. mit Maperitive oder auch mit Mapnik selbst.

viw · 2011-10-29T12:31:05.000Z

Marqqs:

Hallo!
Wie bekannt wird MOBAC (Mobile Atlas Creator) von den meisten Serverbetreibern sehr häufig geblockt. Das natürlich zu Recht, insbesondre dann, wenn das Programm massenhaft Tiles in den Zoomstufen 17 und 18 runderlädt. Diese Tiles müssen oft extra dafür gerendert werden, das kostet viel CPU-Zeit.

Ich will das Programm trotzdem für kleinere Kartenausschnitte verwenden und wär bereit, dafür CPU-Zeit zu bezahlen. Hat jemand Erfahrung mit sowas? Welche Anbieter gibt es?

Hallo Marqqs,

Den einzigen Anbieter für Powerzugänge den ich kenne ist Nops Reit und Wanderkarte.
Allerdings kann man auch schnell selbst einen eigenen Renderserver aufsetzen und Mobac dann mit dieser URl füttern. Das war das Ziel dieses Projektes: http://wiki.openstreetmap.org/wiki/DE:Ubuntu_tile_server
Somit sollte es möglichst vielen Möglich werden dennoch massenhaft Tiles aus OSM Daten für ihr smartphoe bereit zu stellen.

_i · 2011-10-29T17:32:48.000Z

Also du könntest dich mal hier umschauen:
http://wiki.openstreetmap.org/wiki/TMS
http://wiki.openstreetmap.org/wiki/WMS
Dann war ja jetzt glaube ich auch noch TileMile als Anbieter aufgetaucht? Die Nachteile/Bedenken wurden ja bereits schon genug diskutiert.

Ich habe heute mal eine Auswertung/Visualisierung der Logs gemacht und muss sagen, dass Ergebnis ist erschreckend
http://www.openstreetmap.org/user/!i!/diary/15190

EvanE · 2011-10-29T19:47:39.000Z

!i!:

Also du könntest dich mal hier umschauen:
http://wiki.openstreetmap.org/wiki/TMS
http://wiki.openstreetmap.org/wiki/WMS
Dann war ja jetzt glaube ich auch noch TileMile als Anbieter aufgetaucht? Die Nachteile/Bedenken wurden ja bereits schon genug diskutiert.

Ich habe heute mal eine Auswertung/Visualisierung der Logs gemacht und muss sagen, dass Ergebnis ist erschreckend
http://www.openstreetmap.org/user/!i!/diary/15190

Während das Gesamtbild sich von Anfang zu Ende Oktober nicht sehr stark verändert hat, so sind doch zwei Dinge zu sagen:

1/3 weniger Traffic insgesamt ist schon mal eine gute Sache.
Ob das von der Server-seitigen Bremse oder von besseren
Verhalten einzelner Apps kommt, sei mal dahingestellt.
Die von den Autoren von MOBAC und Locus angekündigten Schritte scheinen
insoweit zu greifen, dass deren Anteil an der Belastung zurückgegangen ist.

Ich bin schon gespannt auf eine dritte Auswertung in sagen wir mal 2 Wochen.
Der Fluch der guten Tat.

Edbert (EvanE)

wyo · 2011-10-30T09:16:50.000Z

!i!:

Ich habe heute mal eine Auswertung/Visualisierung der Logs gemacht und muss sagen, dass Ergebnis ist erschreckend
http://www.openstreetmap.org/user/!i!/diary/15190

Warum macht den niemand eine P2P-Implementation für den Tile-Download? OSS P2P-Programme gibt es wie Sand am Meer und Anpassungen an die Bedürfnisse sollten doch nicht allzu schwierig sein. Dann wäre das Download-Problem allemal vom Tisch. Downloads wäre erst noch um Faktoren schneller.

Und wenns dann mal eine Server-2-Server-Implementantion gäbe, die für Webserver Tiles übertragen, hätte es plötzlich sogar freie Kapazitäten, die zum Rendern genutzt werden könnte.

wyo · 2011-10-30T09:20:12.000Z

viw:

[http://wiki.openstreetmap.org/wiki/DE:Ubuntu_tile_server

Gibt es so etwas auch für Windows? Linux kommt für mich nicht in Frage. Ich meine, gibt es etwas für Windows das ab PBF-Dateien arbeitet?

viw · 2011-10-30T09:22:32.000Z

wyo:

!i!:

Ich habe heute mal eine Auswertung/Visualisierung der Logs gemacht und muss sagen, dass Ergebnis ist erschreckend
http://www.openstreetmap.org/user/!i!/diary/15190

Warum macht den niemand eine P2P-Implementation für den Tile-Download? OSS P2P-Programme gibt es wie Sand am Meer und Anpassungen an die Bedürfnisse sollten doch nicht allzu schwierig sein. Dann wäre das Download-Problem allemal vom Tisch. Downloads wäre erst noch um Faktoren schneller.

Und wenns dann mal eine Server-2-Server-Implementantion gäbe, die für Webserver Tiles übertragen, hätte es plötzlich sogar freie Kapazitäten, die zum Rendern genutzt werden könnte.

Das Problem sind schlicht zwei Dinge.

ist P2P auf gleiche Dateien angewiesen, welche eine möglichst große Verbreitung besitzen. Wenn sich der Inhalt der Datei ständig ändert wird es kaum sinnvoll möglich sein die passenden Tiles runterzuladen.
P2P ist nicht aktuell genug. Das mag zwar für Dateien wie Distributionen oder Filme gut sein, aber nicht für Datenbestände die sich öfter als täglich ändern.
Tiles der Zoomstufen 17 und 18 existieren nicht, sondern werden immer auf Anfrage erstellt und auch nach relativ kurzer Zeit gelöscht. Wenn du solche Daten P2P verteilen möchtest, musst du einen Riesen rendering Aufwand betreiben unmengen an Speicherplatz verschwenden und dann feststellen, das die Verbreitung der Daten zu gering ist.

_i · 2011-10-30T09:25:12.000Z

Wie so oft ist dort das Problem, dass wir nicht so viele Entwickler haben und die meisten sind schon bis über beide Ohren mit Projekten eingedeckt. Sowas wie Freizeit lassen wir da mal nicht als Ausrede gelten

Wir haben ja tiles@home für Osmarender, aber das ist noch weit weit von einfacheren Lösungen a la BOINC entfernt. Außerdem wollen ja alle Mapnik und da haben wir AFAIK nur einfachere Cloud-Ansätze.

Mit der Verteilung ist es aber nicht getan wyo. Aber schon die alleine ist nicht so leicht, da es massenhaft kleine Dateien sind, die ja auch ständig aktualisiert werden. Dann kommt noch das Streamen der Vektordaten zum Renderer hinzu, was auch noch nicht so richtig gelöst wurde.

Aber ich will natürlich keinen aufhalten sich in das Thema zu stürzen, würde mich sehr freuen

wyo · 2011-10-30T09:47:23.000Z

viw:

Das Problem sind schlicht zwei Dinge.

ist P2P auf gleiche Dateien angewiesen, welche eine möglichst große Verbreitung besitzen. Wenn sich der Inhalt der Datei ständig ändert wird es kaum sinnvoll möglich sein die passenden Tiles runterzuladen.

P2P ist nicht aktuell genug. Das mag zwar für Dateien wie Distributionen oder Filme gut sein, aber nicht für Datenbestände die sich öfter als täglich ändern.

Das ist zweimal das gleiche Argument, darum kombiniere ich meine Antwort.

Es ist überhaupt kein Problem, ein separates Download-Verzeichnis zu erstellen, das nur einmal täglich aus dem Original-Verzeichnis aktualisiert wird.

Ich nehme an, dass in Deutschland tausende von Downloader gibt. Auch wenn diese monatlich nur einmal aktualisieren, gibt es genügend aktuelle Knoten, um eine signifikate Reduktion zu bringen.

viw:

Tiles der Zoomstufen 17 und 18 existieren nicht, sondern werden immer auf Anfrage erstellt und auch nach relativ kurzer Zeit gelöscht. Wenn du solche Daten P2P verteilen möchtest, musst du einen Riesen rendering Aufwand betreiben unmengen an Speicherplatz verschwenden und dann feststellen, das die Verbreitung der Daten zu gering ist.

Tiles so hoher Zoomstufen werden echt nur zum Editieren benötigt und beschränken sich somit auf die Gebiete, in denen es auch etwas hat. Tiles der Stufen 17…höher ohne einen einzigen Punkt/Linie gibt es einfach nicht.

Ein separates Download-Verzeichnis hätte den interessanten Nebeneffekt, dass Downloads kein Rendering auslösen. Damit hätte es plötzlich wieder Zeit und Platz für das normale Rendern.

aighes · 2011-10-30T09:58:31.000Z

Ich denke das wäre nur effektiv, wenn man größere Pakete schnürt. Bspw. auf Länderebene und auch da wird es nur in den OSM-Hochburgen funktionieren.

Und dann müsste man erstmal die Leute dazu bringen, dass sie für die Stadt, die sie wollen alle Tiles von Deutschland laden sollen und vor allem, wie bekommen sie nun die gewollten Tiles separiert.

wyo · 2011-10-30T10:06:32.000Z

!i!:

Wie so oft ist dort das Problem, dass wir nicht so viele Entwickler haben und die meisten sind schon bis über beide Ohren mit Projekten eingedeckt. Sowas wie Freizeit lassen wir da mal nicht als Ausrede gelten

Das verstehe ich vollkommen. Aber wie wäre es, wenn sich die MOBAC- und alle der anderen Downloader-Entwickler zusammen tun würden und sich hinter das Problem setzen würde. Sobald OSM alle direkten Downloads verbietet und nur noch ein P2P-Programm zulässt, dürfte das ziemlich augenblicklich passieren. Es bräuchte natürlich noch einen OSM-Projektleiter, damit auch eine OSM-taugliche Lösung herauskommt.

!i!:

Mit der Verteilung ist es aber nicht getan wyo. Aber schon die alleine ist nicht so leicht, da es massenhaft kleine Dateien sind, die ja auch ständig aktualisiert werden.

Siehe andere Nachricht, ich glaube dass sich dieses einfach Problem lösen lässt.

!i!:

Dann kommt noch das Streamen der Vektordaten zum Renderer hinzu, was auch noch nicht so richtig gelöst wurde.

Auch da habe ich mal zuhanden eines Google “Summer of Code” (oder wie das hiess) einen Vorschlag gemacht. Wenn man Vektordaten statt in grosse Regionen in kleinere Sektoren (ca. 1’) unterteilt, diese Sektoren in ein separates täglich aktualisiertes Verzeichnis legt, könnte man sie genau gleich wie Tiles behandeln. Natürlich ist die Erstellung dieser Sektoren, resp. das Zusammensetzen, nicht mehr ganz trivial. Ich glaube aber, dass auch hier der Aufwand sich in Grenzen hält.

!i!:

Aber ich will natürlich keinen aufhalten sich in das Thema zu stürzen, würde mich sehr freuen

Das wäre wirklich schön, wenn sich ein paar Entwickler zusammenfinden würde. Ich bin gerne bereit mitzuarbeiten, aber meine Zeit ist sehr beschränkt.

viw · 2011-10-30T10:10:31.000Z

wyo:

viw:

Das Problem sind schlicht zwei Dinge.

ist P2P auf gleiche Dateien angewiesen, welche eine möglichst große Verbreitung besitzen. Wenn sich der Inhalt der Datei ständig ändert wird es kaum sinnvoll möglich sein die passenden Tiles runterzuladen.

P2P ist nicht aktuell genug. Das mag zwar für Dateien wie Distributionen oder Filme gut sein, aber nicht für Datenbestände die sich öfter als täglich ändern.

Das ist zweimal das gleiche Argument, darum kombiniere ich meine Antwort.

Es ist überhaupt kein Problem, ein separates Download-Verzeichnis zu erstellen, das nur einmal täglich aus dem Original-Verzeichnis aktualisiert wird.

Ich nehme an, dass in Deutschland tausende von Downloader gibt. Auch wenn diese monatlich nur einmal aktualisieren, gibt es genügend aktuelle Knoten, um eine signifikate Reduktion zu bringen.

Also die Frage ist, welche Downloader wir in Deutschland haben. Haben wir den Downloader, der einmal im Monat sein Mobiltelefon aktualisert? Oder haben wir eher den Downloader der das wöchentlich oder gar täglich macht, wenn nicht gar noch öfter.

wyo:

viw:

Tiles der Zoomstufen 17 und 18 existieren nicht, sondern werden immer auf Anfrage erstellt und auch nach relativ kurzer Zeit gelöscht. Wenn du solche Daten P2P verteilen möchtest, musst du einen Riesen rendering Aufwand betreiben unmengen an Speicherplatz verschwenden und dann feststellen, das die Verbreitung der Daten zu gering ist.

Tiles so hoher Zoomstufen werden echt nur zum Editieren benötigt und beschränken sich somit auf die Gebiete, in denen es auch etwas hat. Tiles der Stufen 17…höher ohne einen einzigen Punkt/Linie gibt es einfach nicht.

Ein separates Download-Verzeichnis hätte den interessanten Nebeneffekt, dass Downloads kein Rendering auslösen. Damit hätte es plötzlich wieder Zeit und Platz für das normale Rendern.

Das nennst du einen netten Nebenefekt. Der Effekt ist einfach ganz drastisch, das dies Tiles erstmal erzeugt werden müssen. Ob dann dort Daten sind oder nicht. Die Openptmap nur für Deutschland hat es nicht geschafft für ganz Deutschland einmal am Tag die Tiles bis zur Zoomstufe 17 zu rechnen. Und du meinst da gibt es Serverkapazitäten bei OSM die das nebenbei mal für ganz Europa oder gar die ganze Welt?

Wie sillst du eigentlich sicherstellen, dass wenn der Proszess im Norden anfängt im Süden nichts mehr verändert wird. dann passen die Tiles nämlich auch nicht mehr zusammen, wenn dort einer Straßen verschiebt.

Ich denke der einzige Ausweg ist wirklich Rohdaten zu verbreiten. Dann kann sich da jeder seine Sachen daraus selber in seiner Zoomstufe rechnen.

ikonor · 2011-10-30T11:06:48.000Z

wyo:

Auch da habe ich mal zuhanden eines Google “Summer of Code” (oder wie das hiess) einen Vorschlag gemacht. Wenn man Vektordaten statt in grosse Regionen in kleinere Sektoren (ca. 1’) unterteilt, diese Sektoren in ein separates täglich aktualisiertes Verzeichnis legt, könnte man sie genau gleich wie Tiles behandeln. Natürlich ist die Erstellung dieser Sektoren, resp. das Zusammensetzen, nicht mehr ganz trivial.

Ein erster Schritt in diese Richtung ist ja mit OSMT (OSM Split and Merge Tool) schon gemacht, das meines Wissens aus Deinem Vorschlag heraus entstand.

viw:

Ich denke der einzige Ausweg ist wirklich Rohdaten zu verbreiten. Dann kann sich da jeder seine Sachen daraus selber in seiner Zoomstufe rechnen.

+1

_i · 2011-10-30T11:25:37.000Z

Mhh also letzten Endes hatten wir die Diskussionen doch schon ein paar Mal geführt (siehe Threads über die kleinen Vektor Kacheln).

Klar müssen da größere lösungen her wyo, aber wie du ja selber sagst ist deine (und auch meine und die von vielen anderen Entwicklern) Zeit sehr begrenzt. Also mach ich erstmal kleinere Sachen wie die Visualisierung (denke das kann durchaus einige Entwickler wachrütteln) sowie das Anschreiben der Entwickler. Wenn auch nur die hälfte von dennen erstmal auf MapQuest umstellen wäre ja schon einiges geschafft.
Dann müsst man nurnoch die MOBAC Nutzer dazu bringen auf MQ zu wechseln und nicht so gierig zu sein

_i · 2011-10-30T15:23:39.000Z

ächz
Auch auf die Gefahr hin, dass ich mich ein wenig unbelibet gemacht habe und im nachhinein sicherlich noch mein Fett abbekommen werde, habe ich jetzt mal die probiert alle Autoren aus dem Diagramm anzuschreiben. Mal schauen was letzten Endes bei rumkommt

wyo · 2011-10-30T15:49:45.000Z

ikonor:

Ein erster Schritt in diese Richtung ist ja mit OSMT (OSM Split and Merge Tool) schon gemacht, das meines Wissens aus Deinem Vorschlag heraus entstand.

Danke, das wusste ich nicht. Allerdings hätte ich es vorgezogen, wenn weder Cropping (künstliche Hilfspunkte) noch vollständige Wege sondern nur den ersten Punkt des wegs ausserhalb des Rechtecks mitzunehmen. Damit wären Rundungsfehler ausgeschlossen, jedoch würde das Mergen etwas komplizierter.

viw:

Ich denke der einzige Ausweg ist wirklich Rohdaten zu verbreiten. Dann kann sich da jeder seine Sachen daraus selber in seiner Zoomstufe rechnen.

Im Endeffekt ja, aber es ist noch ein langer Weg bis dahin. Zudem könnte mein P2P-Vorschlag praktisch unverändert auch auf diese “Vektor-Tiles” (ich nenne sie aus Verwechslungsgründen Sektoren) angewandt werden.

wyo · 2011-10-30T15:56:59.000Z

!i!:

ächz
… Mal schauen was letzten Endes bei rumkommt

Gut, wenigstens passiert jetzt mal was. Wir haben jetzt eine Download-Bremse und es ist absehbar, dass sich diese zu einem faktischen Download-Verbot ausweiten wird. Es ist besser, man fängt jetzt an, als dass es dann in einem Jahr zu spät ist.