XAP unzuverlässig, so dokumentieren?

wambacher · 2011-01-10T11:23:37.000Z

wyo:

wambacher:

wenn nur jeder diesen Weg gehen würde

Es führen viele Wege nach Rom. Die eigenen Datenbank ist eben eine Hochgebirgsklettertour, wärend XAPI eine Autobahn ist. Klettertouren sind einfach weniger staugefärdeter als Autobahnen.

Wyo

Zwischen XAPI und der eigenen DB gibt es aber noch andere Wege.
Viele Sachen lassen sich für den “Normalen Mapper” auch durch gelegentliche Downloads eines Extraktes und z.b. den Perl-Scripten von Gary erledigen.
So hab ich auch mal angefangen und war ganz happy.

Marqqs · 2011-01-10T12:04:40.000Z

ajoessen:

Es hat aber nicht jeder Platz und Leitung, um den eigenen Planeten aktuell zu halten. Leider sind bei den Geofabrik-Extrakten die Sammelrelationen (z.B. nach oxomoa-Schema) nur teilweise vorhanden. Da bleibt mir kein anderer Weg als api oder xapi.

Muss ja nicht ein ganzer Planet sein. Ich mach das mit der DACH-Region bei www.openptmap.de
Welche Relationen fehlen im Geofabrik-Extrakt? Hast du ein Beispiel? Mir war das bisher nicht aufgefallen. Wär wichtig zu wissen…

ajoessen · 2011-01-10T12:21:22.000Z

Marqqs:

ajoessen:

Es hat aber nicht jeder Platz und Leitung, um den eigenen Planeten aktuell zu halten. Leider sind bei den Geofabrik-Extrakten die Sammelrelationen (z.B. nach oxomoa-Schema) nur teilweise vorhanden. Da bleibt mir kein anderer Weg als api oder xapi.

Muss ja nicht ein ganzer Planet sein. Ich mach das mit der DACH-Region bei www.openptmap.de
Welche Relationen fehlen im Geofabrik-Extrakt? Hast du ein Beispiel? Mir war das bisher nicht aufgefallen. Wär wichtig zu wissen…

Diese Relation
http://www.openstreetmap.org/browse/relation/78734
und alle ihre Mitgliedsrelationen sind jedenfalls seit einiger Zeit nicht mehr im NRW-Extrakt drin. Ich meine, das wäre zwischenzeitlich mal anders gewesen; dafür gabs dann desöfteren bei der Geofabrik nen Speicherüberlauf.

Ich hab aber jetzt nicht täglich kontrolliert.

gruß,
ajoessen

wambacher · 2011-01-10T12:43:12.000Z

ajoessen:

Marqqs:

ajoessen:

Es hat aber nicht jeder Platz und Leitung, um den eigenen Planeten aktuell zu halten. Leider sind bei den Geofabrik-Extrakten die Sammelrelationen (z.B. nach oxomoa-Schema) nur teilweise vorhanden. Da bleibt mir kein anderer Weg als api oder xapi.

Muss ja nicht ein ganzer Planet sein. Ich mach das mit der DACH-Region bei www.openptmap.de
Welche Relationen fehlen im Geofabrik-Extrakt? Hast du ein Beispiel? Mir war das bisher nicht aufgefallen. Wär wichtig zu wissen…

Diese Relation
http://www.openstreetmap.org/browse/relation/78734
und alle ihre Mitgliedsrelationen sind jedenfalls seit einiger Zeit nicht mehr im NRW-Extrakt drin. Ich meine, das wäre zwischenzeitlich mal anders gewesen; dafür gabs dann desöfteren bei der Geofabrik nen Speicherüberlauf.

Ich hab aber jetzt nicht täglich kontrolliert.

gruß,
ajoessen

hi,
bei mir in der db fehlt sie auch.
abundzu fehlen wirklich sachen und dafür hab ich nen kleinen trick:
objekt “kitzeln”: irgendwas dran ändern und dann schickt der osm-datenbank-server das objekt hinaus in die weite welt.
in diesen falle (78734) hab ich das mal eben gemacht und beobachte mal meine diff-files, die bald reinschneien sollten.
wenn es kommen sollte meld ich mich wieder.
gruss
walter

EDIT: Ist gerade eingetrudelt. daher sollte es auch bald im nächsten geofabrik-extrakt drin sein (spätestens morgen)

ajoessen · 2011-01-10T12:49:16.000Z

wambacher:

EDIT: Ist gerade eingetrudelt. daher sollte es auch bald im nächsten geofabrik-extrakt drin sein (spätestens morgen)

Und die Mitglieder? Sind die auch nicht in der db? Auf die kommts mir nämlich eigentlich an.

Gruß,
ajoessen

wambacher · 2011-01-10T13:06:41.000Z

ajoessen:

Und die Mitglieder? Sind die auch nicht in der db? Auf die kommts mir nämlich eigentlich an.

teilweise - manche fehlen.
die erste (110262) hab ich auch mal “gekitzelt”.
wir sollten morgen mal sehen, ob die beiden im geofabrik-extrakt drin sind. das problem könnte immer noch dort sein.
die diff-files, die ich verwende, gehen ja an der geofabrik vorbei, daher hab ich eure daten nicht.
gruss
walter

edit: 110262 ist auch eingetrudelt (linie 420). deren member - zwei “normale” relationen - waren schon da.

ajoessen · 2011-01-10T13:44:58.000Z

wambacher:

ajoessen:

Und die Mitglieder? Sind die auch nicht in der db? Auf die kommts mir nämlich eigentlich an.

teilweise - manche fehlen.
die erste (110262) hab ich auch mal “gekitzelt”.
wir sollten morgen mal sehen, ob die beiden im geofabrik-extrakt drin sind. das problem könnte immer noch dort sein.
die diff-files, die ich verwende, gehen ja an der geofabrik vorbei,

Ich dachte, die beziehen genauso ihre Daten perr diff-file. Nur eben einmal täglich laut:
http://blog.geofabrik.de/?p=75#more-75

edit: 110262 ist auch eingetrudelt (linie 420). deren member - zwei “normale” relationen - waren schon da.

Deren member sind die normalen Busrouten, die waren immer schon drin. Die bestehen ja aus Wegen und Knoten, damit hat osmosis beim Zuschneiden keine Probleme. Nur Relationen, die nur aus Relationen bestehen, scheinen Ärger zu machen.

Nur würde ich natürlich gerne wissen, warum die Sammelrelationen irgendwann mal rausgefallen sind. Von Hand anstoßen ist da eher keine Lösung, weil ja alle Buslinien der DSW betroffen sind; die benachbarten der Bogestra (die zu ner anderen Zeit erfasst wurden) aber nicht. Ausserdem bilde ich mir ein, Ende letzten Jahres wären die bei der Geofabrik mal “drin” gewesen.

Gruß,
ajoessen

Marqqs · 2011-01-10T14:05:43.000Z

ajoessen:

Diese Relation
http://www.openstreetmap.org/browse/relation/78734
und alle ihre Mitgliedsrelationen sind jedenfalls seit einiger Zeit nicht mehr im NRW-Extrakt drin. Ich meine, das wäre zwischenzeitlich mal anders gewesen; dafür gabs dann desöfteren bei der Geofabrik nen Speicherüberlauf.

Also ein bekannter Bug? Ich erinner mich, dass germany.osm.bz2 vor mehreren Wochen mal ein paar Tage lang ganz ohne Relationen war. Kann passieren; Frederik hat damals aber sehr schnell reagiert und das Problem behoben.

Wenn man ganz sicher gehen will, kann man ja planet.osm.bz2 EINMAL runterladen, Deutschland selber ausschneiden und mit täglichen Changefiles aktuell halten.

ajoessen · 2011-01-10T14:15:53.000Z

Marqqs:

ajoessen:

Diese Relation
http://www.openstreetmap.org/browse/relation/78734
und alle ihre Mitgliedsrelationen sind jedenfalls seit einiger Zeit nicht mehr im NRW-Extrakt drin. Ich meine, das wäre zwischenzeitlich mal anders gewesen; dafür gabs dann desöfteren bei der Geofabrik nen Speicherüberlauf.

Also ein bekannter Bug?

aber nur bei mir bekannt

Ich erinner mich, dass germany.osm.bz2 vor mehreren Wochen mal ein paar Tage lang ganz ohne Relationen war. Kann passieren; Frederik hat damals aber sehr schnell reagiert und das Problem behoben.

Ja, das fiel dann auch sehr schnell auf. Mein Problem entdeckt der normale Extraktkonsument wohl nicht so schnell. Ich hatte es am 30.12. in der Mailingliste gepostet, ohne Antwort oder Reaktion.

Wenn man ganz sicher gehen will, kann man ja planet.osm.bz2 EINMAL runterladen, Deutschland selber ausschneiden und mit täglichen Changefiles aktuell halten.

Das ist mir halt ein wenig viel. Ich brauch nur mein Bundesland; und die diffs sind ja auch weltweit.

Ich hab jetzt mal alle DSW-Buslinien angestoßen (das geht über deren Sammelrelation in josm ganz fix). Mal sehen, was dann sonst noch so fehlt im Extrakt.

Gruß,
ajoessen

wambacher · 2011-01-10T16:01:38.000Z

ajoessen:

Ich dachte, die beziehen genauso ihre Daten perr diff-file. Nur eben einmal täglich laut:http://blog.geofabrik.de/?p=75#more-75

klar, machen die natürlich.
ABER: Die Basis-Relation 78734 wurde zuletzt im Oktober 10 geändert. Wenn nun das Relationen-Problem bei der Geofabrik später aufgetreten ist, war die 78734 halt “futsch” und kommt erst wieder, wenn sie geändert wird (also heute).
Denn in den DIFF-Files stehen ja nur die Änderungen drin. (“Keine Arme, keine Kekse” um hier einen echt ätzenden Witz zu zitieren)

… Nur Relationen, die nur aus Relationen bestehen, scheinen Ärger zu machen.

genau, daher schaust du dir morgen nrw.osm an, ob die 78734 + 110262 drin ist.

Nur würde ich natürlich gerne wissen, warum die Sammelrelationen irgendwann mal rausgefallen sind.

Interessiert mich nicht. Wichtig ist nur, ob das Problem weg ist. Frederik HATTE Probleme - nicht Du .

Von Hand anstoßen ist da eher keine Lösung, weil …

Schreib nen BOT
Aber bevor wir hier weiter spekulieren, sollten wird auf das morgige Ergebnis warten. Wichtig ist doch momentan nur, dass die “gekitzelten” Relationen morgen richtig rüber kommen. Dann sehen wird weiter
Gruß,
Walter

ajoessen · 2011-01-11T07:52:27.000Z

wambacher:

Aber bevor wir hier weiter spekulieren, sollten wird auf das morgige Ergebnis warten. Wichtig ist doch momentan nur, dass die “gekitzelten” Relationen morgen richtig rüber kommen. Dann sehen wird weiter

Satz mit x. Die fehlen nach wie vor; egal ob angepackt oder nicht.
Meine vermissten Buslinien aus NRW hab ich hier mal zusammengetragen:
http://bahnradwandern.bplaced.net/linerel.txt

und für meinen Arbeitsablauf in diese Relation gesteckt:
http://www.openstreetmap.org/browse/relation/1370207

Es sind nur Relationen betroffen, die aus anderen Relationen bestehen, und deren Mitglieder IDs kleiner als die Relations-ID haben. Frederik R. hab ich jetzt mal per mail informiert (liest ja hier nicht mit).

Mich wundert jetzt, warum die in deiner Datenbank bislang fehlten. Hast du irgendwann mal mit osmosis eine boundingbox-Abfrage auf deine Daten losgelassen? Dort vermute ich nämlich den fehler.

gruß,
ajoessen

wyo · 2011-01-11T09:54:52.000Z

wambacher:

Zwischen XAPI und der eigenen DB gibt es aber noch andere Wege.

Stimmt, wie im realen Lebel, wo ja auch noch normale Strassen, Wanderwege, etc nach Rom führen.

Ich habe mich für folgende Lösung entschlossen: Auf einer Tool-Seite (nicht allgemein zugänglich) zeige ich die Wege (Relationen) an mit der Möglichkeit, diese als KML-Datei herunterzuladen. Auf der Benutzer-Seite zeige ich die KML-Dateinen an, die völlig unabhängig vom XAPI sind. Für KML habe ich mich entschlossen, weil sie wesentlich kleiner sind als GPX-Dateien. Dazu kann man sie auch auf der RelationAnalyser Webseite herunterladen, allerding in einer für mich nicht geeigneten Form. Die KML-Dateien veralten zwar mit der Zeit, ein jährlicher Update genügt für meine Zwecke jedoch völlig.

Wyo

wambacher · 2011-01-11T12:30:10.000Z

ajoessen:

Es sind nur Relationen betroffen, die aus anderen Relationen bestehen, und deren Mitglieder IDs kleiner als die Relations-ID haben. Frederik R. hab ich jetzt mal per mail informiert (liest ja hier nicht mit).

Mich wundert jetzt, warum die in deiner Datenbank bislang fehlten. Hast du irgendwann mal mit osmosis eine boundingbox-Abfrage auf deine Daten losgelassen? Dort vermute ich nämlich den fehler.

ich hab europa.osm von dez genommen und dann germany mit osmosis und eigenem poly rausgeschnitten.
und gerade gestern!!! hab ich europa.osm gelöscht, weil ich platz brauchte - gutes timing ;(

in anderen worten: keine ahnung, warum es nicht da war und wo es bereits gefehlt hat.
mal sehen, was frederik dazu sagt. oder auch eventuell breth - der autor von osmosis.

gruss
walter

ajoessen · 2011-01-11T12:48:18.000Z

wambacher:

ajoessen:

Es sind nur Relationen betroffen, die aus anderen Relationen bestehen, und deren Mitglieder IDs kleiner als die Relations-ID haben. Frederik R. hab ich jetzt mal per mail informiert (liest ja hier nicht mit).

Mich wundert jetzt, warum die in deiner Datenbank bislang fehlten. Hast du irgendwann mal mit osmosis eine boundingbox-Abfrage auf deine Daten losgelassen? Dort vermute ich nämlich den fehler.

ich hab europa.osm von dez genommen und dann germany mit osmosis und eigenem poly rausgeschnitten.

Na denn ist das kein Wunder: Wenn die Buslinien nicht im NRW-Extrakt sind, fehlen die auch im Europa-Extrakt. Wird ja alles mit dem gleichen osmosis ausgeschnitten. Ich war der guten Meinung, du hättest den kompletten Planeten in deine Datenbank geschaufelt. Das ist wohl (neben den Servern) der einzige Datenbestand, wo die drin sind.

Gruß,
Ajoessen

Marqqs · 2011-01-11T23:26:45.000Z

Bitte dran denken, dass die Downloads von geofabrik.de natürlich nicht direkt tagesaktuell sind. Die Extrakte müssen auch erstmal generiert werden, das dauert ein paar Stunden.

Kann also beispielsweise sein, dass eine Datei, die seit heute zur Verfügung steht, auf einem Stand von vorgestern Abend 21 Uhr ist.
Im Zweifel einfach die letzten beiden Daily Changefiles drauf anwenden, dann ist sie aktuell.

Grüße
Markus

tiototo · 2011-04-27T09:36:36.000Z

Um noch mal auf das Thema zurückzukommen. Es tut sich was beim XAPI. Es gibt den Mapquest-Server (schnell aber unaktuell) und es gibt die neuere Java-Version auf Azure. Trotzdem sollte echt ein Hinweis in die Doku, das XAPI nicht die erste Wahl ist wenn man was machen will. Heute weiß ich das, damals war mir das nicht klar. Hätte ich es gewusst wäre ich gleich mit der Datenbank angefangen, Root-Server kosten ja eh nix mehr.

wambacher · 2011-04-27T13:10:17.000Z

tiototo:

Um noch mal auf das Thema zurückzukommen. Es tut sich was beim XAPI. Es gibt den Mapquest-Server (schnell aber unaktuell) und es gibt die neuere Java-Version auf Azure. Trotzdem sollte echt ein Hinweis in die Doku, das XAPI nicht die erste Wahl ist wenn man was machen will. Heute weiß ich das, damals war mir das nicht klar. Hätte ich es gewusst wäre ich gleich mit der Datenbank angefangen, Root-Server kosten ja eh nix mehr.

dann schreib es doch rein
Gruss
Walter

tiototo · 2011-04-27T14:16:08.000Z

Ich ahnte das sowas kommt. Das trau ich mich nicht. Auf der einen Seite will man ja nicht meckern, ist ja alles kostenlos, auf der anderen Seite sollte der geneigte Benutzer wissen was ihn da erwartet wenn er sich auf dieses API abstützt.

Marqqs · 2011-04-27T16:19:54.000Z

tiototo:

Ich ahnte das sowas kommt. Das trau ich mich nicht. Auf der einen Seite will man ja nicht meckern, ist ja alles kostenlos, auf der anderen Seite sollte der geneigte Benutzer wissen was ihn da erwartet wenn er sich auf dieses API abstützt.

Vielleicht solltest du nicht reinschreiben
“Diese API ist Sch…!!!”,
sondern eher sowas wie:
“Je nach Tageszeit muss auf Grund der Vielzahl der Zugriffe mit sehr hohen Antwortzeiten und gelegentlich kurzen Ausfällen gerechnet werden.”.

Die Programmierer können ja nichts dafür, wenn die API inzwischen so beliebt geworden ist, dass viele Leute sie gleichzeitig benutzen und es deswegen länger dauert. Eigentlich ist das eher ein positives Zeichen.

wambacher · 2011-04-27T16:59:03.000Z

Marqqs:

tiototo:

Ich ahnte das sowas kommt. Das trau ich mich nicht. Auf der einen Seite will man ja nicht meckern, ist ja alles kostenlos, auf der anderen Seite sollte der geneigte Benutzer wissen was ihn da erwartet wenn er sich auf dieses API abstützt.

Vielleicht solltest du nicht reinschreiben
“Diese API ist Sch…!!!”,
sondern eher sowas wie:
“Je nach Tageszeit muss auf Grund der Vielzahl der Zugriffe mit sehr hohen Antwortzeiten und gelegentlich kurzen Ausfällen gerechnet werden.”.

Die Programmierer können ja nichts dafür, wenn die API inzwischen so beliebt geworden ist, dass viele Leute sie gleichzeitig benutzen und es deswegen länger dauert. Eigentlich ist das eher ein positives Zeichen.

Bevor Ihr hier weiter nach der Methode "Man sollte, man müsste, man könnte, eventuell unter bestimmten Umständen, wenn es gerade nicht schneit, … weiter diskussiert:

Ist drin

Walter