Ik ben laats bezig geweest met het checken van websites in OSM, mij viel het op dat veel websites niet altijd meer even goed werken, bijvoorbeeld een 404 geven. Ik heb een scriptje geschreven om te checken of websites nog online zijn. De resultaten hiervan heb ik voor nu even in een maproulette gestopt.
Goed initiatief! Ik krijg trouwens Apeldoorn toegewezen. Eerste adrespunt blijkt een webstek die doorverwijst naar facebookpagina. Dus dat kan ook het geval zijn!
Top idee ! Wel graag 1 filteroptie: dat niet na 1 keer scannen deze URL op een dead-link lijst komt (een webmaster zal net op dat moment zijn pagina’s aan t verversen zijn of tijdelijk verbindingsproblemen hebben) waardoor deze URL onterecht op de dead-link lijst komt…
Bij elk leuk spelletje geldt: 3 strikes is out… run1: op de dag zelf, run2: 3 dagen daarna en run3: 7 dagen daarna. Bij 3 keer dead-link dan op de dead-link lijst. Is die filter wens van mij mogelijk ? Des noods run ik zelf 3x jouw top idee-tooltje.
Lijst van de gemeenten (met hun dorpskernen): Haarlem, Velsen, Bloemendaal, Zandvoort, Haarlemmermeer zou geweldig zijn !
Wil ik Regio Kennemerland voor mijn rekening nemen !
Ander idee: Zelf een gemeente in kunnen vullen als extra filter optie ?
Blijkt niet alleen nuttig voor dead url’s Tjuro !
Als voorbeeld: Changeset: 133968997 | OpenStreetMap
Voor deze keer heb op het object ge-edit om te laten zien hoe effectief Tjuro’s inspanningen kunnen zijn: Wat blijkt uit een toegevoegde infobron: het hele restaurant bestaat niet meer vanwege geldproblemen tijdens Corona… Het blijkt dus ook een effectief amenity opschoningstooltje te zijn in dit geval ! Keep up the good work Tjuro !
Ik wil wel kijken naar de Bommelerwaard (gemeente Zaltbommel en gemeente Maasdriel), dus als die toegevoegd kunnen worden… (zelf kiezen als extra filter optie zou helemaal mooi zijn).
ik heb Goirle Riel gedaan. Werkt lekker vlot zeker als je certificate support ervaring hebt. Ik kwam nog vrij veel false positive tegen. Ook fout geconfigureerde sites en twee keer een nagel aan mijn kist: self signed CA spul.
Parse jij de output van openssl s_client -verify 5 -connect site.tld:443 gevolgd door een http connect als het geen https blijkt te zijn (qua HSTS)? Op gebruik je alleen de resultcode?
Uitgevoerd voor Haarlem centrum, veel correcties maar ook vage input gezien die ik alleen met lokale ogen echt kan bevestigen of ontkrachten…
Morgen even rondje “I spy with my little eye”-Haarlem centrum fiets rondje uitvoeren…
@Tjuro 27 locaties in Arnhem nagelopen. Er bleken ook een aantal false positives tussen te zitten als gevolg van trage responsetijden of gekke redirects
Ja, Zonder het werk van @Tjuro zou ik er nooit achter zijn gekomen. Ik heb met deze regen nog niet de moed gehad om een paar markant-foute-web fysieke-winkels binnen te lopen met de vraag wie kun website heeft gemaakt. Als je de maker een hengel geeft kan hij zelf 100 dode vissen voorkomen.
Ow nee, ik ben naar aanleiding van spelfout dead url’s verhuizingen tegengekomen naar een andere woonplaats, dus dan grondig aanpakken en niet alleen amenity weghalen maar meteen de huidige locatie editen. Url met verwijzing naar meerdere adressen in de buurt dus vandaar lokale ogen actie. Of hier is een ondernemende familie bezig of… bepaalde info bronnen kloppen niet en dan met de ogen zien welke infobron WEL correct is…
Ik heb inmiddels het script beter afgesteld, en alle genoemde gemeentes toegevoegd. Ik denk dat er nu wat minder false positieven in zitten.
In de genoemde gemeentes zitten 8871 website=* daarvan voldeden er 520 niet aan mijn eisen van een werkende website. Dat is 5,86%.
Hou er bij het checken rekening mee dat ik een redirect ook mee tel als niet werkend. Dus als de getoonde URL niet overeenkomt met de uiteindelijke URL in de browser. Ook zitten er websites tussen die wel werken maar waarvan de URL niet geldig is, die zijn relatief makkelijk op te lossen. Zie de beschrijving voor meer informatie over het probleem van de website, de status code of de error.
Dit is wat ik nu gebruik als definitie voor een werkende site, waarbij true werkend is en false niet werkend.
.then((response) => {
returnObject.status = response.status.toString();
returnObject.statusText = response.statusText;
return response.status === 200 || response.status === 403;
})
.catch((error) => {
returnObject.status = "error";
returnObject.statusText = JSON.stringify(error);
console.log(error);
if (error.type == "aborted") return true;
if (error.type == "max-redirect") return true;
if (error.type == "system") {
if (error.code == "ERR_TLS_CERT_ALTNAME_INVALID") return true;
if (error.code == "EPROTO") return true;
if (error.code == "CERT_HAS_EXPIRED") return true;
if (error.code == "UNABLE_TO_VERIFY_LEAF_SIGNATURE") return true;
}
if (error.type == "aborted") return true;
return false;
});
Als iets een false positive is klik dan op “Not an Issue” dan kan ik kijken waar het probleem ligt.
Tjuro, goed nieuws !
Ik ben tot nu toe geen false positieve url’s tegengekomen en ben aan run 4 toe alleen al hartje Haarlem Centrum en steeds meer uitdijend naar buiten toe… Ik wil alleen maar zeggen, goed werk weer van je !
