OverpassTurbo verweigert scheinbar zufällig Abfragen

Seit einiger Zeit erhalte ich selbst bei einfachen, räumlich begrenzten Abfragen bereits nach 2-3 Sekunden die Fehlermeldung

Während des Ausführung der Overpass Query ist ein Fehler aufgetreten! Die Overpass API gab folgende Meldung zurück:

Error: runtime error: open64: 0 Success /osm3s_osm_base Dispatcher_Client::request_read_and_idx::timeout. The server is probably too busy to handle your request. 

Nach einigen Versuchen funktioniert es dann mal, danach wieder nicht. Auch weltweite Abfragen funktionieren hin und wieder mal, und mal wieder nicht.

z.B. overpass turbo

Anfang Oktober habe ich bei der Nutzung des iD-Editors die Meldung “Die OSM-API schränkt deine Verbindung ein. Bitte warte.” bekommen.

Kann das etwas damit zutun haben, so dass ich irgendwie ein Limit überschritten habe und daher mein Zugriff eingeschränkt wurde, oder ist die OverpassAPI in letzter Zeit einfach überdurchschnittlich ausgelastet?

Das hat vermutlich eher was damit zu tun, dass irgendwer den Server mit massenhaft Anfragen überlastet:
https://community.openstreetmap.org/t/overpass-api-will-block-azure-and-aws-for-some-time/
https://wiki.openstreetmap.org/wiki/Overpass_API/status#On_Workaround

Monate später, und dieses Problem ist immer noch nicht behoben!
Wann wird denn endlich diese OSM-Account-basierte Priorisierung (»fast lane«) mit der Overpass-API eingeführt?

Schonmal versucht, in den Einstellungen einen anderen Server (zB kumi.systems) einzustellen?

kumi arbeitet leider nicht mit live-Daten.

Der normale Server liefert bei mir mittlerweile bei der Mehrheit meiner Abfragen einen Fail.

PS: Hatte ich richtig verstanden, dass PostPass via OverpassTurbo (noch) nicht von der Überlastung betroffen ist?

Jedenfalls hatte ich bisher noch keinen Abbruch, TOI TOI TOI. :wink:

Das ist korrekt. Allerdings muss man fairerweise sagen, dass das nicht daran liegt, dass Postpass irgendwie “besser” wäre als Overpass - es ist halt einfach weniger bekannt und daher kommen diese diversen AI-Spinner noch nicht auf die Idee, ihre Queries dort abzuladen.

(Zum Einbinden in einen Editor eignet sich Postpass auch nicht, denn es liefert ja keine “Original”-OSM-XML-Objekte, sondern nur GeoJSON.)

2 Likes

Ein meiner Erfahrung nach guter Workaround, um mit gewöhnlichem Overpass Turbo weiterhin gut arbeiten zu können, ist es, im Header der Abfrage ein [maxsize:64Mi] zu ergänzen (also z.B. [out:json][maxsize:64Mi]; – bei kleinen Abfragen reicht auch 16 oder 32 – default ist glaub ich 128). Damit gibt man dem Server eine Art Erwartungshaltung, wie viele Daten man erwartet und wird priorisiert behandelt.

Je mehr Leute das machen, desto schlimmer wirds natürlich für die “Menschen”, die es nicht machen – aber solange die KI-Scraper-DDOS-Fraktion das nicht tut, hilft es im Endeffekt vermutlich mehr Menschen als es blockiert.

Wenns nicht unbedingt “Echtzeitdaten” sein müssen, dann tuns auch die alternativen Instanzen wie private.coffee oder maps.mail.ru.

4 Likes

Die Doku sagt:

The maxsize: setting has one parameter, a non-negative integer. Default value is 536870912 (512 MB).
This parameter indicates the maximum allowed memory for the query in bytes RAM on the server, as expected by the user. If the query needs more RAM than this value, the server may abort the query with a memory exhaustion. The second effect is, the higher this value, the more probably the server rejects the query before executing it.

Als Laie ist es allerdings schwer einzuschätzen, wie viel interner Speicher für Zwischenergebnisse benötigt wird und wie man z.B. durch ungeschickte Abfrageformulierung darauf Einfluss nimmt.

Aber Danke für den Tipp. :smiley:

Und dann gibt es ja noch overpass-ultra.us.

Weiß jemand wie oft der die Daten updated?

Das “ultra” ist ja wie Overpass Turbo nur ein Frontend - Du kannst damit wiederum auf ein Overpass-Backend oder auch auf ein Postpass-Backend zugreifen. Es hat keine eigene Datenhaltung.

Gut, dann muss ich mal schauen auf welchen OP-Server der geht. Dieser scheint nämlich gut zu funktionieren. :wink: