Datenabruf vom API

Hallo,

die aufwendigste Anfrage, die man an die API stellen kann, ist der sogenannte “map”-Aufruf, mit dem man alle Daten in einem bestimmten Bereich herunterlaedt. Dieser Aufruf belastet die Rechner und die Datenbank recht stark, weil er zu vielen einzelnen und aufwendigen Datenbank-Abfragen fuehrt:

  • gib mir alle Nodes in diesem Bereich.
  • nun gib mir alle Wege, die mindestens einen dieser Nodes benutzen
  • und alle Relationen, die mindestens einen dieser Nodes oder einen der
    vorhin gefundeneen Wege als Member haben
  • nun gib mir noch alle Nodes, die von den bisher gesammelten Wegen
    benutzt werden, aber ausserhalb des Bereichs liegen

Nicht ohne Grund ist dieser Aufruf auf ein Gebiet von maximal 0,25°² beschraenkt (sowie auf maximal 50.000 Nodes). Jeder, der mehr Daten herunterladen will, ist gehalten, auf Daten-Extrakte auszuweichen (entweder fertige wie von download.geofabrik.de, oder mit Osmosis selbstgemachte, oder einen Mix aus beiden). Alternativ kann auch die XAPI benutzt werden.

Leider kommt es regelmaessig vor, dass Benutzer die Groessenbeschraenkung absichtlich umgehen, indem sie ein Skript schreiben, dass nacheinander viele einzelne, nebeneinander liegende Bereiche abruft. Da gehoert ja auch nicht viel dazu - bitte tut es trotzdem nicht. Wenn ihr das macht, seid ihr keine coolen Hacker, sondern laestige Stoerer.

Die Serverbetreiber muessen regelmaessig - so auch heute wieder - solche Massen-Downloader sperren, um den Betrieb fuer die anderen aufrecht zu erhalten. Die Mehrzahl dieser Massen-Downloader kommen aus Deutschland, daher in diesem Forum die Bitte: Nehmt Ruecksicht und haltet Euch an die Regeln. Die sind nicht gemacht, um Euch zu aergern, sondern damit der Laden fuer alle einigermassen laeuft.

Bye
Frederik


Frederik Ramm ## eMail frederik@remote.org ## N49°00’09" E008°23’33"

Es wird haeufig in Faellen in denen man die main API ueberlastet hat auf XAPI verwiesen. Ich frage mich jedoch immer, skalliert XAPI irgendwie besser als die main API? Oder ist es mehr nach dem Motto, die meisten werden eh nicht auf Xapi umsteigen und wenn, dann geht halt “nur” XAPI “vor die Hunde” und irgendwann werden die Leute schon merken das somit keiner mehr was bekommt und aufhoeren?

Eigentlich sehe ich nur das TRAPI deutlich besser skalliert, da es keine beliebige boundingboxes erlaubt, sondern einen Tiled approach nimmt. Das kann immerhin die gesammte Last von t@h aufnehmen. Nur leiden so weit ich das erkennen kann die TRAPI server darunter das sie Hardware maessig chronisch underpowered sind und somit gerade (wenn es gut laeuft) mit t@h fertig werden.