Massenedit "-website (DNS does not resolve)"

Doch, sowas geht selbstverständlich - wenn man den Aufwand treiben will. Es gibt für nahezu jede Programmiersprache Libraries, die http(s)-Zugriff auf Programmebene ermöglichen. Ich hab nicht in OLI-WAN’s Code reingeschaut, kenne aber einige ältere Bots, die genau so arbeiten.

Gruss
walter

in Java sieht das z.B. dann so aus:


      String Url = "http://api.openstreetmap.org/api/0.6/changeset/"+id;

      DocumentBuilder db = DocumentBuilderFactory.newInstance().newDocumentBuilder();
      Document doc;

      try {

         doc = db.parse(Url);  // get changeset
         String temp;

         NodeList ChangeSets = doc.getElementsByTagName("changeset");
         Node ChangeSet = ChangeSets.item(0); 
         Element ChangeSetElement = (Element) ChangeSet;
 
         // get details

         this.id                = id;
         this.user_name		= ChangeSetElement.getAttribute("user");
         this.uid		= Integer.parseInt(ChangeSetElement.getAttribute("uid"));
	 this.created_at	= ChangeSetElement.getAttribute("created_at");
	 this.closed_at		= ChangeSetElement.getAttribute("closed_at");
         ...

Vielleicht macht es auch Sinn, einen richtig üblen Regex bestehend aus Information vom RFC für URLs und einer Liste von TLDs der ICANN zu basteln.

vermisse ich da den Ironie-Flag oder verstehe ich dich einfach nicht?

Grübel Grübel
walter

Also wenn die Übersetzung lautet: “Vielleicht macht es auch Sinn, die vorhandenen website-Tags mittels eines Musterabgleichs gegen den Standard für URLs auf Gültigkeit zu überprüfen.” sehe ich keine Notwendigkeit für Ironie-Flags :wink:

Inhaltlich nicht zusammengehörende Datenänderungen (z.B. URL Änderungen und Neuerfassung von Daten) sollten auch in getrennten Changesets hochgeladen werden. Einerseits erleichtert dies im Notfall das Reverten und andererseits dient es auch der Nachvollziehbarkeit (sonst wird der Kommantar am Changeset auch so lang wenn man dort alle enthaltenen Änderungen aufzählt…).

Aha, also den URL auf formale Richtigkeit zu überprüfen - das kann man auch einfacher schreiben (wie du es ja auch gemacht hast):

Nö, zuviel Aufwand: es gibt in den APIs genug Funktionen, die Validität eines URLs zu überprüfen, da brauch ich nicht selber was zu konstruieren.

Soll sich aber derjenige mit rumschlagen, der sowas machen will - ich bin es jedenfalls nicht.

Gruß
walter

Ich meinte damit, dass ich mir denken kann, dass Wall·E zur Zeit noch keine solche Funktion hat.

ok, damit kann ich leben :wink:

Gruss
walter

Ich habe alle von moenk gelöschten und daraufhin von wambacher wiederhergestellten Löschungen in meiner Region überprüft.

Hier eine kleine Auswertung:

Insgesamt überprüft: 71
existieren oder ließen sich einfach korrigieren: 35
existieren nicht: 32
existieren, aber antworten nicht richtig: 4

D.h. etwa 50% (35 von 71) der Internetseiten waren erreichbar oder konnten von mir einfach verbessert werden (meist offensichtliche Fehler).

Viele Grüße,
whb

Ich hatte den Faden bereits verfolgt, hätte aber von mir aus keinen Fall für Wall·E daraus gemacht. Zuerst die Kurzfassung der Antwort: vorstellbar, aber auf kurze bis mittlere Sicht für mich kein Thema.

Zur Langfassung: Der eine oder andere wird bereits bemerkt haben, daß Wall·E im Moment eher auf Sparflamme läuft. Grund ist zum einen das Ende des Wikimedia Toolserver, der Wall·E zuvor eine Heimat geboten hatte. Da mir derzeit keine andere Hosting-Lösung zur Verfügung steht und ich zuhause auch gerade weder schnelles Internet noch einen geeigneten Rechner habe, führe ich die Tools nur sporadisch per ssh auf einem verwaisten Uni-Rechner aus (wo ich aber keine cronjobs einrichten kann). Zum anderen haben nach einem Jobwechsel mit weiterem Umzug im Moment andere Dinge außerhalb von OSM Vorrang (was auch der Grund für das fehlende schnelle Internet ist, denn man will ja nicht gleich in seinen ersten Wochen bloß wegen des Telefonmanns Urlaub nehmen). Von daher kann ich Ideen wie website=* mal vormerken, aber auf kurze Sicht werde ich mich nicht damit befassen.

Außerdem haben auch bei der Entwicklung von Wall·E andere Dinge Priorität: erstens, wenn sich irgendwann eine neue Hosting-Lösung auftut, ein flexibleres Scheduling; zweitens, nachdem sich kürzlich jemand an mich gewandt hat, der mit der Umbenennung einer “Strasse” nicht einverstanden war, eine automatische Sperrung von Objekten auf Basis des letzten Bearbeiters.

Aber wie ich bereits in den diversen Wall·E-Fäden immer mal wieder fallengelassen habe, wäre ich keineswegs unglücklich, wenn mir jemand eine solche Aufgabe “wegschnappen” und sich somit das Knowhow zu Reparaturbots in DE auf mehr Schultern verteilen würde. Gerade website=* halte ich für einen überschaubaren Fall, an dem man ausprobieren, lernen und sich allmählich das Vertrauen der anderen Mapper erarbeiten kann. aseerel4c26 hat ja schon einige Fälle skizziert, wo eine automatische Korrektur ggf. möglich wäre. Insbesondere würde auch ich ein komplett fehlendes http:// nicht anfügen wollen. Es gehört zwar eigentlich dort hin, aber jedes Programm, das website=* nutzt, sollte zu dieser Ergänzung imstande sein.

Die Frage ist allerdings noch, ob sich der Aufwand einer automatischen Korrektur wirklich lohnt. Ich überblicke nicht, wie viele kaputte website=* es (etwa in DE) gibt und welchen Anteil davon man tatsächlich sinnvoll automatisch reparieren und ob man die Mapper, die den Rest manuell korrigieren (wie es beispielsweise whb gerade vorgemacht hat), spürbar entlasten kann. Dumpfes Löschen ist sicher die schlechteste Lösung.

Sollte ich irgendwann eine derartige Korrektur implementieren, dann nur mit einer solchen Absicherung, um nicht flasch in aflsch zu ändern.

Richtig. Das würde ich ihm aber auch nicht beibringen, sondern auf Daten von keep right! zurückgreifen, und nur die Korrektur selbst (mit der obigen Absicherung und Hilfsfunktionen) implementieren. (Es ist mir zwar noch nie gelungen, Fehler von keep right! als Rohdaten zu beziehen, aber irgendwie soll das ja möglich sein.)