Massenedit POI Websites

309_308_307 · 2024-09-06T10:26:05.634Z

OSM_RogerWilco:

Ich habe nur Bedenken, wie bei so einem Massenedit ohne vor Ort Kenntnisse die richtige Zuordnung von POI-Objekt (Filiale) und dazugehörige Webseite sicher gestellt wird.

Ich sag mal so: die allermeisten Gemeinden/Städte haben von vornherein nur einen Aldi/Lidl/Media Markt, da ist die Zuordnung eindeutig. Und in den Städten wo es mehrere gibt, ist die Wahrscheinlichkeit sehr hoch, dass es schon Adressen in OSM gibt, die man dann für einen Abgleich nutzen kann.

Klar gibt es immer Fälle, wo z. B. ein Geschäft umgezogen ist und das in OSM noch nicht vermerkt ist. Das kann man dann aber anhand einer einfachen Plausibilitätsprüfung feststellen (wenn das Geschäft auf der Webseite die Adresse Birkenweg 2 hat, und in OSM aber das Geschäft am Holunderweg liegt, dann stimmt da was nicht) und dafür kann man dann Notes setzen.

CjMalone · 2024-09-06T11:15:20.822Z

jaale:

Ich habe damit auch kein Problem. Neben der Website wurden auch fehlende Wikidata-Tags ergänzt. Beim lokalen MediaMarkt hat beides gefehlt.

Yeah looked for every MediaMarkt from the website in OSM. Most already had brand:wikidata, some needed it adding. I also noticed OSM had some Saturn where the websites said it was MediaMarkt (probably rebranded since it was mapped), I didn’t change these, but I did then I decided to do the same with Saturn. Now anything without a valid url is suspect.

area["ISO3166-1:alpha2"=DE]->.searchArea;
(
  nwr["brand:wikidata"=Q2381223]["contact:website"!~"^https:\/\/www\.mediamarkt\.de\/de\/store\/.+$"][website!~"^https:\/\/www\.mediamarkt\.de\/de\/store\/.+$"](area.searchArea);
  nwr["brand:wikidata"=Q2543504]["contact:website"!~"^https:\/\/www\.saturn\.de\/de\/store\/.+$"][website!~"^https:\/\/www\.saturn\.de\/de\/store\/.+$"](area.searchArea);
);
out meta;
>;
out meta qt;

Jörg_Roßdeutscher · 2024-09-06T17:25:13.487Z

hfs:

Nervig wird es natürlich, wenn die Website-Struktur geändert wird und alle Links für eine Kette auf das neue Schema angepasst werden müssen.

Ich mache seit Jahrzehnten Websites für größere Unternehmen, und ich hätte noch nie erlebt, dass ein Unternehmen auf redirects verzichtet hätte, die das abfangen.

Du findest zum Beispiel diese Diskussion hier auch unter der Adresse (https://community.openstreetmap.org/t/da-mache-ich-mir-keine-sorgen/118365/7) , weil die Forensoftware sich nur für das 118365/7 am Ende interessiert. Aus genau solchen Gründen.

Strubbl · 2024-09-06T17:59:37.367Z

Jörg_Roßdeutscher:

und ich hätte noch nie erlebt, dass ein Unternehmen auf redirects verzichtet hätte, die das abfangen

Genau das sieht man leider öfter, wo dann statt auf die neue Filialseite direkt nur noch auf die Filialsuchseite oder gar auf die Startseite umgeleitet wird, wenn schon kein 404 kommt.
Und spätestens nach der zweiten Umstrukturierung dieser Art funktioniert auch kein Redirect mehr.

Jörg_Roßdeutscher:

Ich mache seit Jahrzehnten Websites für größere Unternehmen

Da musst du wohl nun auch die Websites für alle großen, mittleren und kleinen Unternehmen machen, damit das nicht mehr vorkommt.

Jörg_Roßdeutscher:

nur für das 118365/7 am Ende

Wäre toll, wenn alle Websites mit IDs arbeiten würden. Tun sie aber nicht. Gute Redirects sind ebenso Mangelware.

Jörg_Roßdeutscher · 2024-09-06T20:59:56.582Z

OK, ich hätte jetzt gesagt, ein Relaunch ohne Redirects, sowas gibt es gar nicht. Ich habe hier Sites, die schleppen 15 Jahre alte Links mit - aber egal, wir reden ja hier gerade nur über Aldi.

Ich habe mir die alten Aldi-Websites mal bei archive.org angeguckt, und die haben anscheinend immer externe Anbieter genutzt. Somit kann man jetzt leider keine alten Links ausprobieren und eine Prognose abgeben.

Wie dem auch sei… man wird ja keine Infos weglassen, nur weil sie später mal ungültig werden könnten.

tux67 · 2024-10-09T08:52:02.223Z

CjMalone:

I have no further plans for DE at this time.

Das war kein langanhaltendes Versprechen: Changeset: 157635419 | OpenStreetMap

Können die “Automated Edits code of conduct” jetzt in die Rundablage?

Selbst wenn es bei einer solche (Massen) - Änderung Definitionslücken zu einem Automated Edit gibt - mir ist nicht ganz klar, warum soll es so schwierig sein soll das anzukündigen und im Changset auf die erfolgte Ankündigung / Diskussion zu verweisen?

Ich finde die “Automated Edits code of conduct” und damit einhergehende Kommunikationsregeln haben nach wie vor ihre Berechtigung.

Und sei es, um Nachfragen wie “Gültigkeit der Quelle”, Vorgehensweise, Lizenzkompatibilität etc. zu vermeiden

Gruß
tux67

CjMalone · 2024-10-09T09:05:42.748Z

tux67:

Das war kein langanhaltendes Versprechen: Changeset: 157635419 | OpenStreetMap

I didn’t promise to never help map DE. I said I had no planed edits at the time.

tux67 · 2024-10-09T09:20:55.756Z

Das war auch nicht die Erwartung, ich hab’ den kleinen “Seitenhieb” mal mit einem versehen - mir ging’s um das “wie” nicht das wer oder wann …

OSM_RogerWilco · 2024-10-09T10:51:44.895Z

@CjMalone Leider hast Du noch nicht auf meine Frage geantwortet:

Massenedit POI Websites Deutschland (Germany)

@CjMalone: Kannst Du bitte beschreiben, wie Du das gemacht hast? Wie hast Du die entsprechende Website den einzelnen OSM-Objekten zugeordnet? @CjMalone: Can you please describe how you did this? How did you assign the corresponding website to the individual OSM objects?

CjMalone · 2024-10-09T11:59:15.360Z

I looked for every Netto from the website in OSM. I noticed some didn’t have brand:wikidata, some were mapped as Netto Salling, I did change some of them. I also noticed that some in OSM weren’t on the Netto website, they may be mismapped Netto Salling, or just bad OSM data. I didn’t change these, and I probably wont do a similar edit for Netto Salling since it doesn’t feel like the DE wants it. This edit took hours or my time.

Now anything without a valid url is suspect.

area["ISO3166-1:alpha2"=DE]->.searchArea;
(
  nwr["brand:wikidata"=Q879858][shop]["contact:website"!~"^https:\/\/www\.netto-online\.de\/filialen\/.+\/.+[0-9]+\/?$"][website!~"^https:\/\/www\.netto-online\.de\/filialen\/.+\/.+[0-9]+\/?$"](area.searchArea);
);
out meta;
>;
out meta qt;

OSM_RogerWilco · 2024-10-09T18:48:59.429Z

Mein Frage war, wie Du die Zuordnung gemacht hast?

Z.B. Woher weißt Du, dass die Webseite, die Du hinzugefügt hast zu diesem POI gehört?

OpenStreetMap

Node: ‪MediaMarkt‬ (‪2795213704‬)

OpenStreetMap is a map of the world, created by people like you and free to use under an open license.

My question was, how did you make the matching?

For example, how do you know that the website you added belongs to this POI?

hfs · 2024-10-11T14:13:36.516Z

Wenn man dem Link im website-Tag folgt, kommt man zur Marktseite, wo die Adresse und der ungefähre Ort auf einer Karte angegeben sind. Wenn beide plausibel zum Standort in OSM passen und es keinen anderen Kandidaten in der Nähe gibt, dann wird es wohl der richtige Markt sein.

OSM_RogerWilco · 2024-10-11T14:47:19.616Z

Klar. Man kann auch eine lange Deutschlandreise machen und alle Standorte vor Ort prüfen. Die Frage ist, wie es hier gemacht wurde und ob alle Standorte manuell geprüft wurden oder nicht. Und wenn nicht, wie das Matching gemacht wurde. Bei Massenedits ist es normal und wünschenswert, dass man das Vorgehen dokumentiert und zuvor mit der Community bespricht.

OSM_RogerWilco · 2024-10-30T16:51:42.050Z

Leider immer noch keine Antwort von @CjMalone. Das ist echt traurig und spricht für sich.

CjMalone · 2024-10-30T17:16:45.817Z

OSM_RogerWilco:

Klar. Man kann auch eine lange Deutschlandreise machen und alle Standorte vor Ort prüfen. Die Frage ist, wie es hier gemacht wurde und ob alle Standorte manuell geprüft wurden oder nicht. Und wenn nicht, wie das Matching gemacht wurde. Bei Massenedits ist es normal und wünschenswert, dass man das Vorgehen dokumentiert und zuvor mit der Community bespricht.

These were automated edits. Please revert them.

309_308_307 · 2024-10-30T20:27:22.313Z

Da wurde mal wieder ein Kollege erfolgreich vertrieben. Auch noch ein “UK moderator”, also nicht einfach irgendwer. Sehr traurig das ganze.

OSM_RogerWilco · 2024-10-31T08:37:44.260Z

Man hätte auch einfach die Vorgehensweise erläutern können (wie es auch in den wenigen Regeln, die wir haben, auch vorgesehen ist). Sorry, gerade für einen Moderator ist das ganz schlechter Stil. Kein Verständnis von meiner Seite. Schade.

CjMalone · 2024-11-01T10:49:34.269Z

I have explained my “procedure”, and I have explained my low interest in writing tutorials, evident by me spending hours editing OSM every day and not the wiki. As I thought this was a manual edit there is no requirement for me to document anything further.

However since DE disagrees automated editing coc should be updated to include any changeset with a large bbox, and these edits reverted.

changes made by Bots, which by definition act autonomously from human intervention.

No bot was used.

data imports, including both fully automated imports and ones where a standard editor is used;

Depends on your definition of “import”, but if this is included than this is also an import.

other scripted changes made to the database;

I didn’t script this or program it in any complied language.

use of find-and-replace functionality using a standard editor such as JOSM or finding using services such as Overpass API and changing without reviewing each object individually;

I didn’t use find-and-replace, I do make use of Overpass most days. I do review objects.

manually changing tags without adequate review;

I do make mistakes all the time, I am human. However I’m not aware of anyone finding a mistake in this. Has anyone suggested I haven’t adequately reviewed this? Has anyone suggested these edits made OSM worse?

All I’m guilty of it a large bbox. So this is either guilt by association, or all large bbox edits are automated edits in your eyes.

OpenStreetMap

Changeset: 156223295

OpenStreetMap is a map of the world, created by people like you and free to use under an open license.

OpenStreetMap

Changeset: 156225327

OpenStreetMap is a map of the world, created by people like you and free to use under an open license.

OpenStreetMap

Changeset: 157635419

OpenStreetMap is a map of the world, created by people like you and free to use under an open license.

Please revert these 3 changesets and update the wiki to include large bbox edits in the scope. But don’t worry, I wont edit DE anyway. I got told off for “boosting my edit count” and “making it impossible to revert via lots of small changesets”. I got told off for making making a single changeset with a clear message and very limited scope. (You’ll notice I didn’t delete any duplicates or move anything in this changeset, I do that in separate changesets so it’s easier to review). I got told off for adding POI specific websites because someone just wanted to host name + protocol. No matter what I do, DE isn’t happy. All I’m trying to do is improve OSM.

I spent hours of my life on the changesets alone, and months later you still want more of my time. Revert them and let me be.

Metzor · 2024-11-01T11:26:30.293Z

CjMalone:

All I’m trying to do is improve OSM.

I sincerely acknowledge and appreciate your improvements made to OSM data in Germany. Thank you for your efforts on my behalf!
The procedure you, @CjMalone, described in different posts/comments, seemed valid to me. A pity if the improvements were lost!

Strubbl · 2024-11-01T12:15:21.092Z

OSM_RogerWilco:

Man hätte auch einfach die Vorgehensweise erläutern können (wie es auch in den wenigen Regeln, die wir haben, auch vorgesehen ist).

Link bitte. Welche Regeln meinst du? Ich mache auch öfter solch größere Changesets, wo ich Websites aktualisiere. Das ist alles manuelle Kleinstarbeit und je nach POI steckt da einiges an Recherchezeit drin.