Warum gibt es keinen benutzerfreundlichen Downloadserver?

Wenn ich bestimmte Daten für eine bestimmte Anwendung haben möchte, dann muss ich erst den Planetfile herunterladen, dann Perl installieren, eine Batchdatei für Osmosis schreiben. Der Planetfile umfasst mindestens 150 GB und würde somit die gesamte Festplatte beanspruchen. Ich müsste mir also erst einmal eine neue 1-TB-Festplatte für 100 Euro kaufen, um den Planetfile irgendwo abspeichern zu können. Das kostet alles Geld und ist mit einem unnötigen Ressourcenaufwand (CO2) verbunden. 150 GB herunterladen und dann 149 GB sinnlos wegschmeißen ist ja wohl keine sinnvolle Nutzung knapper Ressourcen.

Warum gibt es eigentlich keinen Downloadserver, der gegen eine kleine Gebühr (z.B. 1 Euro für 1 GB) diejenigen Daten extrahiert, die ich wirklich brauche? Das sollte doch technisch kein Problem sein:

  • eine grafische (HTML) Benutzeroberfläche für Osmosis, um den Ausschnitt und die gewünschten Tags festzulegen - dauert vielleicht ein oder zwei Arbeitstage
  • ggf. ein Bezahlsystem (z.B. Guthaben, das vor dem Extrahieren durch Paypal überwiesen wird) - dauert vielleicht zwei oder drei Arbeitstage

Der Ersteinrichter könnte damit je nach Nachfrage locker 100 bis 200 Euro pro Monat nebenbei verdienen.

Bitte keine ablehnenden Standardantworten nach dem Motto “Sie müssen einfach nur den Nippel durch die Lasche ziehen!”
Dann könnte der Bäcker auch sagen: “Warum wollen Sie bei mir ein belegtes Brötchen kaufen? Gehen Sie in den Supermarkt und besorgen Sie sich selbst den Aufschnitt!”
Dann könnte der Metzger auch sagen: “Wenn sie eine Scheibe Salami aufs Frühstücksbrötchen haben möchten, dann müssen Sie selbst ein Schwein kaufen, schlachten und zu Wurst verarbeiten!”
Dann könnte der Kfz-Mechaniker auch sagen: “Kaufen Sie sich ein neues Auto, bevor Sie mich eine neue Zündkerze bitten!”
Das sind im Gegensatz zur IT-Branche wenigstens noch Branchen, in denen der Kunde ernstgenommen wird.

Gruß FK270673

Vielleicht schätzen andere das Potential nicht so optimistisch ein. Immerhin kostet so ein Server ja ein wenig. Und dann braucht es auch noch Gehirnschmalz und nicht unerhebliche Arbeit um diese grafische Oberfläche mal ebenso hinzuzaubern.
Und ganz ehrlich 1 Euro pro GB werden sicher die wenigsten bezahlen wollen, wenn man sich bei der Geofabrik die Deutschland oder Europa kostenlos laden kann.

hi,

evtl. hilft dir das hier schon mal ein stück weiter?

http://wiki.openstreetmap.org/wiki/OSMembrane

  • perl brauchst du nicht! wozu?
  • ein osmosis batch ist auch nicht notwendig, sicher aber freundlicher als eine ewig lange kommandozeile.
  • das planet muss NICHT entpackt auf deiner platte liegen, ist aber aus performance gründen ggf. sinnvoller

ps: osm ist kein unternehmen! und wenn dir etwas fehlt, kannst du es auch ggf. selbst entwickeln bzw. in deinem fall betreiben (und damit geld verdienen)

pps: es gibt gute gründe, denke ich, warum es nicht mehr xapi server gibt. die haben nämlich eine ziemliche prozessor- und netzlast. und das sind kosten, die in deinem business case noch nicht enthalten sind. sowie prozesskosten für micropayment lösung etc.

ciao

gerhard

Na ja, diese Antwort wollte FK270673 ja gerade nicht bekommen (selber entwickeln). So einfach scheint es auch nicht zu sein s. Mobac-Thread.
Die Frage bleibt, warum werden die Rohdaten jedem Unbeteiligten kostenlos, aber den projektbeteiligten Mappern nicht mal ordentliche Downloadserver zur Verfügung gestellt?
Und der Verweis auf kein Geld? S. hier: http://nachrichten.finanztreff.de/news_news,awert,ticker,bwert,id,32547380,sektion,uebersicht.html

Also ich halte die Sache prinzipiell für machbar, es muss sich nur jemand ransetzen. Die Idee spukt mir auch schon länger rum aber mir fehlt Zeit und Ressourcen.

Anyway, jeder kann sich der Problematik gerne beim Google Summer of Code annehmen
http://wiki.openstreetmap.org/wiki/GSoC_Project_Ideas_2011#Prepared_global_Data_excepts

Der Autor der Frage hat zunächst mal jede Menge “Fakten” auf den Tisch gelegt, denen es zu widersprechen galt. Um den Rest des Threads in ordentliche Bahnen zu lenken.

Es gibt hier meines Erachtens auch nichts Neues zu entwickeln. Denn die XAPI macht ja genau das, was sie soll - mal von der Software gesprochen. Das Problem ist doch hier die Hardware bzw. Netzanbindung, dann Load Balancing.

Und hier ist Geld und Administration gefragt. Und das ist dann die Antwort, warum es das heute nicht - oder besser gesagt nur sehr eingeschränkt - gibt.

Dann würde es sich doch lohnen, die Nutzung des XAPI-Servers auf nachweislich zahlende OSMF-Mitglieder zu beschränken, damit die wenigstens ein vernünftiges Preis-Leistungs-Verhältnis vorfinden. Wenn es 200 zusätzliche OSMF-Mitglieder (mal 15 Pfund Mitgliedsbeitrag) gäbe, dann könnte man für diese 3000 Pfund schon einen zweiten XAPI-Server betreiben.

Gruß FK270673

Vielleicht möchtest du die Antworten noch einmal lesen! Erstens hat keiner geschrieben, das er sich dies selber entwickeln soll. Zweitens haben zwei Personen darauf hingewiesen, dass es offenbar keine finanziellen Anreize gibt diesen Server zu betreiben.
Und drittens verstehe ich deinen Hinweis auf das mögliche Geld nicht.
Solltest du der Meinung sein, dass das Projekt des Servers so innovativ ist und daher in den Genuss einer Förderung kommt, so sei dir freigestellt, dies zu beantragen. Ich persönlich glaube jedoch das Mapquest damit ganz andere Ziele verfolgt, als nur XAPI Server bereitzustellen. Denn nichts anderes wäre angefragte Service.

Im Übrigen finde ich es unsinnig der Community vorwürfe zu machen, wenn die eigene Rechenleistung nicht ausreichend ist. Ich mache ja auch keinem einen Vorwurf, dass ich keinen Couadcore Server mit 16 GB Ram habe, oder? Dies sind die Anforderungen welche für einen Kartenserver empfohlen werden.

Und wenn man rigeros alle Firmen, Vereine und Privatpersonen wegen Lizenzverletzung bei der Nutzung von OSM Material abmahnen würde, könnte man tausende Xapi Server hinstellen.

Dann sei so frei. Gründe einen Verein und versuche die 200 Mitglieder zu gewinnen um einen solchen XAPI Server zu betreiben. Wahrscheinlich braucht ihr dann noch nicht mal einen Admin bezahlen. Aber ich glaube nicht, das dieses Konzept zukunftsweisend ist. Jedenfalls nicht so lange man möchte das etwas entwickelt wird!

Oder die Lizenzbedingung ändern, dass die Creative Commons Lizenz nur für Privatpersonen und Firmen gilt, die unter 100 Mitarbeiter oder einen Jahresumsatz von unter 1Mio Euro haben. Alle darüber werden saftig zur Kasse gebeten. z.b. vorerst der halbe Lizenzpreis den man sonst bei Navteq oder Teleatlas bezahlen muss.

Hallo FK,

was sollte so ein Download Server anderes anbieten als die Geofabrik Extrakte heute schon leisten?

Ich habe derzeit das Problem, dass die Extrakte sich nicht mehr nahtlos zusammensetzen lassen.
Daher bin ich von den Downloads einzelner Länder (z.B. D + A + CH) wieder abgekommen und schneide wieder selbst.

Walter

Z.B. nur die Eisenbahnen oder nur die elektrifizierten Eisenbahnen oder nur die Buslinien oder nur die Straßen ab Kreisstraße aufwärts.

Die staatlichen Geodatenserver bieten solche beliebig kombinierbaren Layer (z.B. nur Kreisstraßen oder nur Bundesstraßen) übrigens schon längst, aber OSM ist geistig immer noch auf dem Stand von 2007, als der gesamte Planetfile auf eine Diskette gepasst hat.

Ich möchte lieber thematische Dateien (z.B. Straßen + Schienen + Wasserwege + Flugplätze + Stromleitungen + Gebäude) nach Bedarf zusammensetzen als aus einem Planetfile ausschneiden.

Gruß FK270673

Und ich verstehe nicht, warum sich einige aus der OSM-Community immer als Intressenvertreter der “kommerziell Orientierten” darstellen und dabei die “angebliche Meinung” der Community wiedergeben. Warum vertritt der, die Kommunikation verbessern wollende, Vorstand diese Meinung nicht selbst? Vielleicht weil er selbst kommerzielle Interessen hat?
Jeder Mapper setzt sein privates Equipment ein, um dem Projekt Daten beizusteuern. Das beläuft sich mal schnell auf 1000,- € (GPS, Diktaphon, PC etc.), die Zeit zum Mappen und übertragen mal nicht eingerechnet. Trotzdem wären vermutlich einige bereit, zusätzlich in paar Euro für ein Abo bzw. zusätzlich Server zu spenden, wenn das denn nötig würde. Vielleicht würde auch die ein oder andere Uni einen Server bzw. Rechenleistung beizusteuern.
Ich kann nicht erkennen, wofür OSM einen Investmentfond von 1 Millionen Euro benötigt, wenn davon nichtmal ein Bruchteil in die Verbesserung der Infrastrukur fließt, um damit die Community ein bisschen bei Laune zu halten. Vielleicht bringt ein “OSM-Interessen-Vertreter” mal Licht ins Dunkel?
Danke im voraus.

Ja, genau! Das Problem sind nicht die Server, sondern das im Moment schlechte Dateiformat für die Extrakte, welches sich leider nicht wieder routingfähig zusammensetzen läßt.
Da liegt das eigentliche Problem. Deshalb müssen ja alle Leute in Grenzregionen anstatt von 2 oder 3 Länder-Extrakten erst mal z.B. Europa laden und dann mit osmosis das ausschneider was sie haben wollen. Da sollte man das Dateiformat mal fixen bzw. sich ein Neues extra für diesen Zweck ausdenken, denn das würde auch jede Menge Traffic sparen.

Im neuen pbf-Format hat unsere Welt nur 12GB. Die täglichen diffs liegen im Moment so bei 50mb.

Wenn du so einen Service betreiben willst, solltest du Abstand vom Live-Erstellen nehmen. Das führt zu nichts, da der Server dann nicht mehr mit rechnen hinterher kommt.

@juson: Musst du egtl. jedesmal heraushängen lassen, dass du weder die Lizenz noch das Projekt an sich verstanden hast?

@aighes
Bist Du Dir eigentlich sicher, daß Du die Meinung der ganzen Community vertrittst?
Vermutlich haben einige ein zumindes anderes Verständnis von Openstreetmap (endet übrigens auf Karte und nicht auf Datenbank) als Du.

http://www.openstreetmap.de/news.html ==> die feie Wiki-Weltkarte (am linken Rand)
http://wiki.openstreetmap.org/wiki/%C3%9Cber ==> OpenStreetMap ist eine freie Landkarte der ganzen Welt. … Die Karte von OpenStreetMap darf durch jeden bearbeitet, eingesetzt, kopiert und…
http://www.openstreetmap.de/faq.html ==> Wie kann ich die Daten nutzen? OpenStreetMap selbst bietet die gesammelten Daten entweder in Rohform oder ** in Form vorberechneter Kartenbilder an **.
Zum Anschauen oder um schnell und unkompliziert eine Karte auf die eigene Webseite zu bringen, eignen sich die vorberechneten Kartenbilder am besten (auch die Karte auf OpenStreetMap.de arbeitet damit).

Das sind zumindest mal Anhaltspunkte dafür, daß man nicht nur von Deiner stringenten Auslegung “Wir mappen (nur) für eine Geodatenbank” ausgehen muß.
Du solltest Deine Argumentation sauber herleiten und nicht mit Totschlagphrasen daherkommen. Das hat immer sowas von nur (D)eine Meinung zählt. Sowas passt nicht in eine Community.
Wenn aber das, was Du meinst richtig sein sollte, dann solltest Du das Wiki dahingehend überarbeiten und das zum Verständnis Aller deutlich machen.

openstreetmap.de ist eine private Seite, die keinen offiziellen Anspruch hat.

Wenn du das wiki zitierst mit “eine freie Landkarte”, dann solltest du aber auch sagen, welche das deiner Meinung nach ist? Ist das die Mapnik-Karte? Wie sieht es dann aber mit mit der Osmarender-Karte aus? Es gibt schließlich nur eine Karte.

Man muss einfach trennen zwischen was muss die OSMF als Betreiber anbieten und was bietet die Commuity zusätzlich und freiwillig an. Natürlich ist es einfach zu sagen, die OSMF oder etwas allgemeiner jemand anders soll die eigenen Wünsche erfüllen.

Ein 150 GB Planetfile entspricht zwar den Lizenzbestimmungen, aber nicht dem Wunsch vieler Nutzer, die für ihren jeweiligen Einsatzzweck deutlich weniger Geodaten brauchen. PBF ist wiederum nicht kompatibel mit JOSM, Kosmos usw.

Es gibt ja bereits unzählige, z.B. durch Kosmos-Rendering-Rulesets gestaltete zusätzliche Karten, die jedoch auf eine Infrastruktur (Hardware, Netzwerk, Software) angewiesen sind. So wie es ohne Textverarbeitungsprogramme keine Bücher gäbe, so gäbe es ohne Renderer (wie z.B. Kosmos) keine selbst gestalteten Karten und ohne selbst gestaltete karten hätten manche Mapper keine Lust mehr zu mappen.

Irgendjemand muss ja mal deutlich seine Wünsche aussprechen, sonst ändert sich garantiert nichts. Wenn wir als Mapper unzählige Stunden Arbeit in die Gestaltung einer Karte investieren, dann möchten wir diese Geodaten auch irgendwann einmal für eigene, selbst zu gestaltende Karten nutzen können! Und zwar möglichst ohne vorher einen selbstkompilierten Linux-Kernel mit ungarischem Handbuch installieren zu müssen! (ihr wisst schon, was ich meine …)

Diese überhebliche Entwickler-Mentalität auf der Mailingliste (“Diese Scheiß-Mapper sollen froh sein, wenn wir ihnen irgendwelche komischen Editoren zur Verfügung stellen und das Rendering sollen sie dann gefälligst bei Mapquest erbetteln!”) geht mir irgendwie auf den Wecker!

Gruß FK270673

Wie gesagt, hier http://forum.openstreetmap.org/viewtopic.php?id=11699 wäre die Lösung.

Wyo