aus talk-de:  Exzessive Einzelrequests an die API

wambacher · 2011-01-12T01:56:26.000Z

hi was ganz dringendes aus der talk-de.

habs mal kopiert, da frederik hier nicht aktiv ist:

Hallo,

irgendein - pardon - Idiot sendet seit Tagen taeglich ueber 100.000

einzelne /api/0.6/node/123-Requests an die OSM-API. Die Person kommt aus
Deutschland, aus dem Arcor/Vodafone-DSL-Dialin-Netz. Die IPs werden
immer gesperrt, das haelt dann, bis sie sich das naechste Mal einwaehlt.

Das ist aus mehreren Gruenden doof. Erstens belastet es die API gehoerig
(die gruene Linie auf
http://munin.openstreetmap.org/openstreetmap/www.openstreetmap/api_calls_num-week.png
ist zu 90% diese eine Person), und man sollte einen so hohen Datenbedarf
aus einem Dumpfile decken und nicht aus Live-Requests. Zweitens gibt es,
selbst wenn man ausnahmsweise sowas von der API holen muss, sanftere
Methoden, naemlich den /way/123/full-Aufruf fuer alle Nodes eines Ways,
oder den /nodes?nodes?123,234,345,…-Aufruf fuer mehrere einzelne Nodes.

Ich sage deswegen Idiot, weil die Person garantiert inzwischen gemerkt
haben muss, dass sie mit ihren Anfragen eine Sperrung verursacht, und
trotzdem immer noch munter weitermacht, nach dem Motto “ha, ha, ich bin
so ein cooler Hacker, ich waehle mich einfach neu ein und schon ist die
IP-Sperre weg”.

Meine Bitte an Euch: Falls irgendjemand was gehoert hat - irgendwer im
Bekanntenkreis, am Stammtisch, aus dem Forum oder so, der irgendwas
erzaehlt hat von einem coolen Skript, das er seit ein paar Tagen laufen
laesst - fragt mal ganz vorsichtig nach, ob dieses Skript eventuell die
API unsachgemaess bedienen koennte, und falls ja, nehmt Euch die Person
mal gehoerig zur Brust.

Leider gibt es in der API derzeit kein automatisches Rate Limiting fuer
solche Requests, das ist also noch alles Handarbeit fuer die Admins.

Bye
Frederik

gruss
walter

EvanE · 2011-01-12T03:07:52.000Z

wambacher:

hi was ganz dringendes aus der talk-de. …:
irgendein - pardon - Idiot sendet seit Tagen taeglich ueber 100.000
einzelne /api/0.6/node/123-Requests an die OSM-API. …
…
Meine Bitte an Euch: Falls irgendjemand was gehoert hat - …
…

Danke jetzt weis ich, warum ein Upload von ca. 250 Objekten ungefähr eine Stunde gedauert hat.
Immerhin es hat funktioniert.

Edbert (EvanE)