eigene Tiles hosten

MikeOSM · 2012-03-29T10:35:03.000Z

Nop:

Was Du noch wissen solltest: Die normale Web-Renderchain wie z.B. bei switch2osm beschrieben erzeugt nicht direkt Kacheln, sondern Metatiles, die 64 Kacheln enthalten. Dann brauchst Du noch eine zusätzliche Verarbeitungsstufe, um die Einzelkacheln dort auszupacken. Im Webbetrieb macht das das Modul mod_tile im Apache Server.

Über die Mapnik Python Schnittstelle kannst Du auch einzelne Kacheln mit dem Skript generate_tiles.py direkt erzeugen - aber das ist fürchterlich ineffizient und langsam, weil er dann den Renderer und die DB Abfragen für jede einzelne Kachel neu initialisiert während die Webvariante mit etwa demselben Overhead immer gleich 64 Kacheln auf einmal produziert.

Für große Gebiete mußt Du also

Metatiles erzeugen und hinterher auspacken

oder Metatiles rendern und in Python in Einzelkacheln zerlegen

oder viiiiiel Zeit mitbringen

bye
Nop

Also wenn ich mir Python und Mapnik installiere dann kommen da nicht gleich die passenden Kacheln fürs Web heraus? Das stellt mich ja wieder vor Probleme. Hatte das so verstanden das das quasi “out of the box” läuft wenn man Mapnik über die Konfigurationsdateien zum laufen gebracht hat. Die Datenbank habe ich schon mit osm2pgsql laufen. Machen werde ich das unter Win7.

Danke für die Antworten bisher.

ajoessen · 2012-03-29T11:06:54.000Z

Nop:

ajoessen:

Allerdings funktioniert das alles wohl nur mit Linux. Wenn man sich erst darin einarbeiten muß, braucht man mindestens ebensoviel Zeit.

Was genau ist “alles”?

Das, was bei switch2osm aufgelistet ist. Einschliesslich dem Rendern von Metatiles und mod_tile. Oder laufen die auch mit Windows? Ich habs noch nie probiert, sondern immer nur generate_tiles.py.

Gruß,
ajoessen

ajoessen · 2012-03-29T11:10:26.000Z

MikeOSM:

Also wenn ich mir Python und Mapnik installiere dann kommen da nicht gleich die passenden Kacheln fürs Web heraus?

Doch, so läuft das bei mir. Am Ende der generate_tiles.py trägst du Wunschgebiet und Zoomstufen ein, und los gehts. Wobei ich für jeden meiner transparenten Layer eigene py-Dateien angelegt habe.

Gruß,
ajoessen

MikeOSM · 2012-03-29T11:58:12.000Z

Das klingt gut. Ich werde das die Tage mal testen.

Nop · 2012-03-29T12:14:06.000Z

ajoessen:

Doch, so läuft das bei mir. Am Ende der generate_tiles.py trägst du Wunschgebiet und Zoomstufen ein, und los gehts. Wobei ich für jeden meiner transparenten Layer eigene py-Dateien angelegt habe.

Klar funktioniert das. Man muß sich nur im Klaren sein, daß es extrem ineffizient ist, ich kann mich erinnern daß damals ein Python Skript, das ähnlich wie die Web-Renderchain mit 10x10 Metatiles gearbeitet hat, mehr als 50 mal schneller war als generate_tiles.

bye
Nop

brogo · 2012-03-29T12:20:18.000Z

Nop:

Für große Gebiete mußt Du also

Metatiles erzeugen und hinterher auspacken

oder Metatiles rendern und in Python in Einzelkacheln zerlegen

Wo ist der Unterschied zwischen den Varianten? Weiß Du wie ich das machen kann ohne tirex oder renderd zu installieren? Metatiles haben bei Mapnik ja außerdem den Vorteil, daß die Beschriftung über den Rand eines normalen Tiles hinausgehen kann.

Ich hatte dazu schon mal ein Ticket [1] erstellt.

Christian

[1] http://trac.openstreetmap.org/ticket/4179

mdk · 2012-03-29T12:20:59.000Z

In der April-Ausgabe der iX gibt es einen ausführlichen Artikel über “OSM-Daten in eigenen Karten nutzen”:
http://www.heise.de/ix/inhalt/2012/04/136/

mdk

ikonor · 2012-03-29T12:45:54.000Z

MikeOSM:

nutze aber momentan zum testen Tilemill, da bekomme ich aber scheinbar keine Webtiles exportiert. Das rendern damit geht aber supereinfach.

Hab zwar keine Erfahrung damit, aber aus einer von TileMill erzeugten MBTiles Datei müsste sich mit mbutil auch ein Tile-Verzeichnis exportieren lassen, siehe FAQ.

ajoessen · 2012-03-29T12:58:25.000Z

ikonor:

MikeOSM:

nutze aber momentan zum testen Tilemill, da bekomme ich aber scheinbar keine Webtiles exportiert. Das rendern damit geht aber supereinfach.

Hab zwar keine Erfahrung damit, aber aus einer von TileMill erzeugten MBTiles Datei müsste sich mit mbutil auch ein Tile-Verzeichnis exportieren lassen, siehe FAQ.

polytiles.py aus dem Standard-Mapnik-Paket scheint sowas auch zu machen. Habs nur noch nie probiert.

Gruß,
ajoessen

Nop · 2012-03-29T13:20:37.000Z

brogo:

Nop:

Für große Gebiete mußt Du also

1)Metatiles erzeugen und hinterher auspacken

2)oder Metatiles rendern und in Python in Einzelkacheln zerlegen

Wo ist der Unterschied zwischen den Varianten?

Metatile wird auf die Platte geschrieben und später wieder von anderem Tool weiterverarbeitet
Metatile wird nur im Speicher gerendert und gleich in Einzelkacheln gespeichert, Metatile taucht auf Platte nie auf

brogo:

Weiß Du wie ich das machen kann ohne tirex oder renderd zu installieren?

Nein.
Entsprechendes Python Skript.

brogo:

Metatiles haben bei Mapnik ja außerdem den Vorteil, daß die Beschriftung über den Rand eines normalen Tiles hinausgehen kann.

Nein, das Eine hat mit dem Anderen nichts zu tun.

Um die Beschriftung zu erhalten wird normalerweise ein zusätzlicher Rand von 1/2 Tile mitgerendert und verworfen. Das kann man auch für einzelne Tiles machen. Umgekehrt kann man auch Metatiles ohne Rand rendern.

bye
Nop

MikeOSM · 2012-03-29T13:37:38.000Z

ikonor:

MikeOSM:

nutze aber momentan zum testen Tilemill, da bekomme ich aber scheinbar keine Webtiles exportiert. Das rendern damit geht aber supereinfach.

Hab zwar keine Erfahrung damit, aber aus einer von TileMill erzeugten MBTiles Datei müsste sich mit mbutil auch ein Tile-Verzeichnis exportieren lassen, siehe FAQ.

Danke für den Tipp. Das wär ja top wenn das geht. Hatte mich gerade in Mapnik ein bißchen eingelesen. Das scheint ja ne Quälerei zu sein damit zu arbeiten.

MikeOSM · 2012-03-29T16:43:17.000Z

Weiß jemand wie ich dieses mbutil zum laufen bekomme? Python habe ich installiert aber ich habe keine Ahnung was ich da starten oder ob ich das Ding noch installieren muss.

ajoessen · 2012-03-29T16:54:05.000Z

MikeOSM:

Weiß jemand wie ich dieses mbutil zum laufen bekomme? Python habe ich installiert aber ich habe keine Ahnung was ich da starten oder ob ich das Ding noch installieren muss.

Am Anfang stehen einige Bibliotheken, die er laden möchte:


import sqlite3, uuid, sys, logging, time, os, json, zlib, glob, shutil

Die musst du erst mal an der richtigen Stelle installiert haben, sonst läuft da nix.

Der Vorteil von Mapnik ist halt, dass alle Abhängigkeiten gut dokumentiert sind. Bei Exoten wie mbutil kommt man nicht drum herum, den Entwickler danach zu fragen

Gruß,
ajoessen

ikonor · 2012-03-29T21:34:04.000Z

MikeOSM:

Weiß jemand wie ich dieses mbutil zum laufen bekomme? Python habe ich installiert aber ich habe keine Ahnung was ich da starten oder ob ich das Ding noch installieren muss.

Ich habe jetzt doch mal TileMill ausprobiert und auch gleich das mbutil. Eine Installation ist nicht notwendig, hätte nur den Vorteil, dass mb-util direkt als Kommando verwendet werden kann.

Bei mir hat folgender Aufruf funktioniert (Pfade und Dateiname anpassen):


python C:\Tools\mbutil\mb-util --scheme=osm open-streets-dc.mbtiles D:\tmp\tiles

MikeOSM · 2012-03-30T05:03:51.000Z

Habs gestern auch noch hinbekommen. Ich rufe es so auf:

python mb-util test.mbtiles /tmp

Jetzt muss ich nur noch eine passende openlayers oder leaflet Vorlage finden. Weiß jemand zufällig wie man die eigenen tiles einbindet? Hatte gestern schon mit der Anleitung im Wiki http://wiki.openstreetmap.org/wiki/OpenLayers_Local_Tiles_Example getestet aber das schein nicht ganz das richtige zu sein.

Edit: Was machste du denn mit dem Schalter --scheme ?

ajoessen · 2012-03-30T05:20:27.000Z

MikeOSM:

Habs gestern auch noch hinbekommen. Ich rufe es so auf:
python mb-util test.mbtiles /tmp
Jetzt muss ich nur noch eine passende openlayers oder leaflet Vorlage finden. Weiß jemand zufällig wie man die eigenen tiles einbindet?

http://wiki.openstreetmap.org/wiki/User:Ajoessen/Osmviewer_und_GPXviewer

Und die dort verlinkte zip-Datei studieren

Weitere Nutzungsmöglichkeiten siehe hier:
http://wiki.openstreetmap.org/wiki/User:Ajoessen/eigene_Tiles#Verwendung_der_Tiles

Gruß,
ajoessen

MikeOSM · 2012-03-30T06:13:55.000Z

Das schaut gut aus. Habs grad mal getestet und wie nicht anders zu erwarten geht es nicht. Ich habe mein Verzeichnis auf dem Webspace eingebunden und meine Karte wird nicht angezeigt. Habe das dann mal mit Chrome untersucht. Meine Verzeichnisstruktur nach dem Export mit mbutil stimmt soweit. Er findet aber die einzelnen Kacheln nicht. Er sucht nach dateien die bspw. so heißen: http://www.blabla/tiles/14/8801/5291.png bei mir heißen die Tiles nach dem Export aber http://www.blabla/tiles/14/8801/11092.png. Die Dateien haben also den falschen Dateinamen. Ich hatte irgendwo gelesen das das mbtiles Format spherical Mercator benutzt. Kann ich das bei der Projektion in der karten.js des gpx viewers irgendwo einstellen?

Man alles schwerer als gedacht. Wenn ich das zum laufen bekomme muss ich wohl ein dickes Tutorial dafür schreiben.

ajoessen · 2012-03-30T06:19:55.000Z

MikeOSM:

Das schaut gut aus. Habs grad mal getestet und wie nicht anders zu erwarten geht es nicht. Ich habe mein Verzeichnis auf dem Webspace eingebunden und meine Karte wird nicht angezeigt. Habe das dann mal mit Chrome untersucht. Meine Verzeichnisstruktur nach dem Export mit mbutil stimmt soweit. Er findet aber die einzelnen Kacheln nicht. Er sucht nach dateien die bspw. so heißen: http://www.blabla/tiles/14/8801/5291.png bei mir heißen die Tiles nach dem Export aber http://www.blabla/tiles/14/8801/11092.png. Die Dateien haben also den falschen Dateinamen.

Es gibt da verschiedene Weltanschauungen, wie man die Tiles nummeriert. Google und OSM fangen oben an (bei 85° Nord, die offizielle TMS_Spezifikation fängt unten an, bei 85° Süd.

Umrechnung: ty1=(2**zoom - 1) - ty

Du kannst dir mal probeweise maptiler anschauen. Die nummerieren auch “verkehrt herum”, und bauen eine eigene Openlayers-Anwendung, die es dann richtigherum darstellt. Oder per script umnummerieren, oder sich einfach an die Standard-Mapnik-Toolchain halten

EDIT: Hier gibts was zum Anschauen:
http://www.maptiler.org/google-maps-coordinates-tile-bounds-projection/

Ich hatte irgendwo gelesen das das mbtiles Format spherical Mercator benutzt. Kann ich das bei der Projektion in der karten.js des gpx viewers irgendwo einstellen?

Man alles schwerer als gedacht. Wenn ich das zum laufen bekomme muss ich wohl ein dickes Tutorial dafür schreiben.

Das hab ich schon hinter mir

Gruuß,
ajoessen

ikonor · 2012-03-30T07:09:13.000Z

MikeOSM:

Edit: Was machste du denn mit dem Schalter --scheme ?

MikeOSM:

Er sucht nach dateien die bspw. so heißen: http://www.blabla/tiles/14/8801/5291.png bei mir heißen die Tiles nach dem Export aber http://www.blabla/tiles/14/8801/11092.png. Die Dateien haben also den falschen Dateinamen.

Genau das kann man mit --scheme ändern, indem man vom Nummerierungs-Schema TMS auf Google/OSM umstellt, ajoessen hat das ja schon erklärt:

python mb-util -h:

–scheme=SCHEME Tiling scheme for exporting tiles. Default is “tms”
(z/x/y), other option is “osm” which is also z/x/y but uses
a flipped y coordinate

MikeOSM · 2012-03-30T07:32:02.000Z

Na das muss man erstmal wissen. In der Beschreibung zu mbutil steht ja zu den Schaltern gar nichts, oder ich habe es nicht gefunden D.h. wenn ich mb-util mit dem Schalter --scheme=osm nochmal laufen lasse geht das mit einer Standard implementierung von Openlayers?