Bulkloader für OSM

[wambacher (Walter Nordmann)]

Hi,

gibt es eine Möglichkeit, externe Daten, die uns eventuell zur Verfügung gestellt werden, EINFACH im Sinne von EASY als neue Daten in OSM zu importieren?

Klar, mir der API geht das bestimmt aber ich möchte noch nicht programmieren sondern möglichst was fertiges nehmen oder etwas ähnliches anpassen.

In dem konkreten Fall geht es erst mal um ca 650 POIs im Wald (Rettungspunkte). Aber zuerst möchte ich halt die technischen und organisatorischen Fragen klären.

mfg

Wambacher

[EvanE]

@wambacher

gibt es eine Möglichkeit, externe Daten, die uns eventuell zur Verfügung gestellt werden, EINFACH im Sinne von EASY als neue Daten in OSM zu importieren?

Klar, mir der API geht das bestimmt aber ich möchte noch nicht programmieren sondern möglichst was fertiges nehmen oder etwas ähnliches anpassen.

In dem konkreten Fall geht es erst mal um ca 650 POIs im Wald (Rettungspunkte). Aber zuerst möchte ich halt die technischen und organisatorischen Fragen klären.

Guckst du hier: http://wiki.openstreetmap.org/wiki/Import

Neben der Organisation des Datenimports musst du natürlich auch die Frage klären,
inwieweit wir deine Quelle für OSM nutzen dürfen.

Edbert (EvanE)

[wambacher (Walter Nordmann)]

@EvanE

Neben der Organisation des Datenimports musst du natürlich auch die Frage klären,
inwieweit wir deine Quelle für OSM nutzen dürfen.
Edbert (EvanE)

Hi Edbert,

ist klar.

Hab da heute mal angerufen, bin gleich an den Richtigen geraten und der kannte sich voll mit der Materie aus. (er sass gerade an seinem GIS - also Profi)
OSM kannte er natürlich und er hat keinerlei Bedenken, wenn wir das schriftlich per mail machen.

Ob wir das wirklich machen sollten, ist noch offen

• die Punkte landen irgenwann in irgenwelchen Navi-Systemen und wenn die Daten dann nicht stimmen? was dann? Allerdings werden die “offiziellen Personen” wie Feuerwehr, Sanitäter, … direkt von seiner Gruppe versorgt. Die Daten sind vollständig und sauber, sie werden nach Bedarf von seiner Gruppe gepflegt.

• Die Koordinaten sind manchmal nicht exakt die des Standortes, sondern ab und zu mal bewusst verschoben, weil es im praktischen Einsatz sinnvoller sein soll.

• Das Ganze macht erst so richtig Sinn, wenn noch mehrer Datenquellen “angezapft” werden können. Meines Wissens ist Niedersachsen schon drin und hier ist es das Saarland. Muss ich aber noch gegenchecken.

• Dass die Punkte in den Standard-Karten nicht erscheinen, dürfte unschön sein, aber das ist ne sache für später.

mfg

wambacher

[Hobby_Navigator]

Ich könnte auch noch ein paar der “Punkte” beisteuern. Kein ganzes Bundesland, aber zumindest für einen Landkreis und diese stimmen zu 100%
Georg

[wambacher (Walter Nordmann)]

@Hobby Navigator

Ich könnte auch noch ein paar der “Punkte” beisteuern. Kein ganzes Bundesland, aber zumindest für einen Landkreis und diese stimmen zu 100%
Georg

danke, merke ich mir und komme drauf zurück, wenn ich mehr weiss.

ist die rechtslage schon geklärt? ohne das geht garnix

mfg

wambacher

[EvanE]

@wambacher + @Hobby Navigator

Die Tags highway=emergency_access_point und amenity=emergency_phone kennt ihr.

Edbert (EvanE)

[Hobby_Navigator]

Ja selbstverfreilich und schon einige Male eingebracht…
Georg

Edit: Rechtslage. Ist klar und gar kein Problem da selbst Ersteller in Absprache mit den zuständigen Forstbehörden. Alles in trockenen Tüchern

[EvanE]

Ein Problem gibt es bei Daten-Importen immer.

Wenn schon, in diesem Fall eher vereinzelt, Einträge in unmittelbarer Nähe existieren, was ist dann zu tun?

• Überschreiben? Das wäre eher problematisch.
• Vereinen? Soweit die Informationen (Nummer/Name/Operator/…) übereinstimmen, sollte das gehen.
• Fehlermeldung mit händischer Nachbearbeitung.?
• Fixme-Tag für bestehenden Knoten?

Straßen-NRW wurde aus diesem Grund nicht direkt importiert, sondern als Background-Layer für JOSM zur Verfügung gestellt.

Edbert (EvanE)

[wambacher (Walter Nordmann)]

@EvanE

@wambacher + @Hobby Navigator

Die Tags highway=emergency_access_point und amenity=emergency_phone kennt ihr.

Edbert (EvanE)

hi Edbert,

bei den jetzigen Daten handelt es sich um Rettungspunkte im Wald (normalerweise dort) und nicht um Notfall-Telefone an Strassen.
Ich werde die Sache aber prüfen. Nachher gibt es doch Rettungspunkte mit Telefon?

bisher hatte ich an amenity=emergency_point gedacht, aber das lässt sich jederzeit biszum Hochladen in Sekunden ändern.
Über die tags wird wohl wieder diskutiert werden.

gruss

wambacher

[wambacher (Walter Nordmann)]

@EvanE

Ein Problem gibt es bei Daten-Importen immer.

Wenn schon, in diesem Fall eher vereinzelt, Einträge in unmittelbarer Nähe existieren, was ist dann zu tun?

• Überschreiben? Das wäre eher problematisch.
• Vereinen? Soweit die Informationen (Nummer/Name/Operator/…) übereinstimmen, sollte das gehen.
• Fehlermeldung mit händischer Nachbearbeitung.?
• Fixme-Tag für bestehenden Knoten?

Straßen-NRW wurde aus diesem Grund nicht direkt importiert, sondern als Background-Layer für JOSM zur Verfügung gestellt.

Edbert (EvanE)

Hi, Edbert

danke für die Hinweise; genau deshalb hab ich ja den thread hier aufgemacht.

Bei dem von mir hier vorgesehenen Import werden nur neue Objekt angelegt; automatisch geschieht (leider? zum glück?) gar nichts. Da müsste man wohl die Api verwenden. (oder DAS Api?)
Es dürfte hier keine Kollisionen geben, es sei den, jemand hat den Rettungspunkt bereits eingegeben - aber dann bestimmt ein paar Meter weg und mit anderen Tags. Mal sehen wie das nach dem Import aussieht - natürlich vor dem Hochladen nach OSM.

Hier ein kurzer Zwischenstand:

• Klärung der Rechtslage und Besorgen der Daten: formal offen
• Konvertieren Rohdaten (in meinem ersten Fall Excel, also CSV) nach XML: offen - Technik ist mir bekannt.
• Importieren der XML-Daten nach Josm als eigene Ebene mit Knoten und passender Relation funktioniert.
• Kontrolle der Ergebnisse: offen
• Upload nach OSM wäre trivial, wird aber derzeit nicht gemacht.

mfg

wambacher

[EvanE]

@wambacher

@EvanE

Ein Problem gibt es bei Daten-Importen immer.
Wenn schon, in diesem Fall eher vereinzelt, Einträge in unmittelbarer Nähe existieren, was ist dann zu tun?

• Überschreiben? … Vereinen? … Fehlermeldung? … Fixme-Tag? …
  …

danke für die Hinweise; genau deshalb hab ich ja den thread hier aufgemacht.

Bei dem von mir hier vorgesehenen Import werden nur neue Objekt angelegt; automatisch geschieht (leider? zum glück?) gar nichts. Da müsste man wohl die Api verwenden. (oder DAS Api?)
Es dürfte hier keine Kollisionen geben, es sei den, jemand hat den Rettungspunkt bereits eingegeben - aber dann bestimmt ein paar Meter weg und mit anderen Tags. Mal sehen wie das nach dem Import aussieht - natürlich vor dem Hochladen nach OSM.

Mit dem API kann man wohl gezielt einzelne Punkte mit bestimmten Eigenschaften abfragen.
So kannst du prüfen, ob schon Rettungspunkte eingetragen sind.

@wambacher

Hier ein kurzer Zwischenstand:

• Klärung der Rechtslage und Besorgen der Daten: formal offen
• Konvertieren Rohdaten (in meinem ersten Fall Excel, also CSV) nach XML: offen - Technik ist mir bekannt.
• Importieren der XML-Daten nach Josm als eigene Ebene mit Knoten und passender Relation funktioniert.
• Kontrolle der Ergebnisse: offen
• Upload nach OSM wäre trivial, wird aber derzeit nicht gemacht.

Bei JOSM muss du darauf achten, dass die Bereiche nicht zu groß werden.
Ein ganzes Bundesland könnte zu viel sein.
Notfalls muss du die Aktion in mehreren Stücken machen.

Bei GPX-Tracks kann man JOSM sagen er soll nur einen definierten Bereich
um den Track herum laden. Keine Ahnung ob das für XML-Daten auch geht.

Klingt alles recht gut.
Edbert (EvanE)

[wambacher (Walter Nordmann)]

@EvanE

Mit dem API …

also DAS Api

Bei JOSM muss du darauf achten, dass die Bereiche nicht zu groß werden.
Ein ganzes Bundesland könnte zu viel sein.
Notfalls muss du die Aktion in mehreren Stücken machen.

sind derzeit ca 650 Punkte. müsste gehen.

Bei GPX-Tracks kann man JOSM sagen er soll nur einen definierten Bereich
um den Track herum laden. Keine Ahnung ob das für XML-Daten auch geht.

nö, geht nicht.

muss man am Anfang hat die Daten in kleinere Blöcke zerlegen, falls das überhaupt notwendig sein sollte.

Es macht mal wieder richtig Spass, sowas durchzuziehen.

          1                  2                   3                  4

xxx.xls —> xxx.csv —> xxx.xml —> xxx.osm —> osm-db
|
saar.xsl --|

1: OpenOffice ok
2: csv2xml ok
3: xalan in arbeit (der interessante teil)
4: josm ok

nur so zur info: xalan macht aus xxx.xml die xxx.osm, die auch nur ne xml-datei ist. wie xalan das machen soll, steht in saar.xsl.

highligt: pro datenquelle (z.b. anderes bundesland) wird die xsl-datei angepasst. das wars

und dafür hab ich mal studiert: chemie!!!
knaller bauen geht aber immer noch

[aighes (Henning)]

@EvanE

Bei JOSM muss du darauf achten, dass die Bereiche nicht zu groß werden.
Ein ganzes Bundesland könnte zu viel sein.
Notfalls muss du die Aktion in mehreren Stücken machen.

Mit folgendem “Trick” gehts ganz gut:

germany.osm herunterladen, dann mit osmosis die interessanten Tags filtern lassen und diese Datei in jOSM öffnen.

[wambacher (Walter Nordmann)]

@aighes

@EvanE

Bei JOSM muss du darauf achten, dass die Bereiche nicht zu groß werden.
Ein ganzes Bundesland könnte zu viel sein.
Notfalls muss du die Aktion in mehreren Stücken machen.

Mit folgendem “Trick” gehts ganz gut:

germany.osm herunterladen, dann mit osmosis die interessanten Tags filtern lassen und diese Datei in jOSM öffnen.

danke für die info,

allerdings verstehe ich zur zeit nicht, was das soll?

ist bestimmt wichtig, sagt mir aber wenig.
werd ich heute abend mal checken.

mfg

wambacher

p.s. wo ist germany.osm?

[aighes (Henning)]

Es geht hier ja um den Abgleicher deiner neuen Daten mit den vorhandenen. Dazu benötigst du ja die Daten aller bereits eingetragener Rettungspunkte. Die Editoren haben Probleme, große Gebiete zu öffnen und werden verdammt träge. Hängt natürlich von CPU-Power und RAM ab.

Du brauchst ja aber nicht alle Daten, die in OSM vorhanden sind, sondern nur die Daten, die einen bestimmten Tag haben.
Das geht recht einfach in dem du dir einen Auszug aus den OSM-Daten des benötigten Gebiets bspw. von http://download.geofabrik.de/ herunterlädst und dann mittels Osmosis diesen Auszug filterst, sodass nurnoch die Punkte übrigbleiben, die du benötigst. Dann kannst du auch einen größeren Bereich in jOSM öffnen.

[godofglow]

Oder du versuchst es über die XAPI abzurufen.

[wambacher (Walter Nordmann)]

@aighes

Es geht hier ja um den Abgleicher deiner neuen Daten mit den vorhandenen. Dazu benötigst du ja die Daten aller bereits eingetragener Rettungspunkte. Die Editoren haben Probleme, große Gebiete zu öffnen und werden verdammt träge. Hängt natürlich von CPU-Power und RAM ab.

Du brauchst ja aber nicht alle Daten, die in OSM vorhanden sind, sondern nur die Daten, die einen bestimmten Tag haben.
Das geht recht einfach in dem du dir einen Auszug aus den OSM-Daten des benötigten Gebiets bspw. von http://download.geofabrik.de/ herunterlädst und dann mittels Osmosis diesen Auszug filterst, sodass nurnoch die Punkte übrigbleiben, die du benötigst. Dann kannst du auch einen größeren Bereich in jOSM öffnen.

jau !!! jetzt hab ich verstanden was du meinst. danke.

wambacher

[wambacher (Walter Nordmann)]

@godofglow

Oder du versuchst es über die XAPI abzurufen.

xapi? schon wieder was neues für mich. danke für den tip

mfg

wambacher

[ajoessen]

@wambacher

@godofglow

Oder du versuchst es über die XAPI abzurufen.

xapi? schon wieder was neues für mich. danke für den tip

Dann gleich noch einen:

http://osmdoc.com/de/tags/

Den Wunsch-tag eintragen, dann auf der nächsten Seite unter dem Reiter Übersicht dem Link XAPI folgen. Die so heruntergeladene osm-Datei kann auch mit josm geöffnet werden, und mit josm wiederum als gpx abgespeichert werden (sofern die Knoten mit dabei sind).

Gruß,
ajoessen

[wambacher (Walter Nordmann)]

danke, ich werde die sachen so nach und nach abchecken. derzeit will die xml-transformierung über xalan noch nicht ganz.

mfg

wambacher