Upload von 110.000 Knoten und massig Wegen

deltabrasil · 2010-08-16T03:33:57.000Z

Hallo,

ich bin gerade an einem Flussimport zu schaffen und habe die Shapefiles des Landkreises dazu zur Verfügung gestellt bekommen. Nun meine Frage: Wie bekomme ich die Knoten am besten zu OSM hochgeladen?

Die Daten liegen in JOSM, aber der Upload wäre über 3 Datensätze verteilt, die Mobilfunkverbindung nicht immer stabil und eine Antwort nach dem Upload eines vollen Changesets (50.000 Knoten) dauert Stunden.

Kann ich die Daten irgendwie zu einer OSC-Datei exportieren und dann über meinen Linux Server einspielen? Wer hat Tipps?

Edit: Ich versuchs gerad mit dem bulk_upload Pyton Script, schaun mer mal ob ich die 16 MB noch in OSM bekomme
Edit II: Sieht gut aus, der lädt relativ zügig in 1000er Blöcken hoch…

Dennis_B · 2010-08-16T05:20:28.000Z

Du hast die Lizenzen für die Landkreise bekommen? Das ist perfekt.

deltabrasil · 2010-08-16T05:32:19.000Z

Lizenzen? Nein, eine Erlaubnis
Frei übersetzt:
“Wenn du die Shapefiles da importieren kannst, bedien’ dich”

Die Daten sind auch recht gut… Leider hab ich oftmals keine Antworten bekommen oder wenn keine brauchbaren Daten…
Die meisten “Kreisverwaltungen” haben auch keine Ahnung von nix… Nichtmal Salvador kann mir brauchbare Daten liefern

_i · 2010-08-16T05:34:59.000Z

Und wenn du die OSM einen anderen mit Breitband verbindung z.B. per FTP zukommen lässt?

Changefiles können mit OSMOSIS generiert werden, müssen aber direkt von den Admins eingespielt werden
http://wiki.openstreetmap.org/wiki/Import/Software

Sicherlich hilft man dir auch gerne auf imports@openstreetmap.org

Danke übrigens für die Arbeit

deltabrasil · 2010-08-16T05:44:53.000Z

Das klappt perfekt mit dem Script, es geht nur darum, dass ich mal den Strom verlieren kann (darum wird auch gerade “reverted”)…
Das mache ich alles über meinen Webserver. Changefiles kannst du direkt über die API einspielen (OSC). Das Pyton Tool erstellt aus der OSM eine OSC Datei, das ist perfekt.

!i!: Gerne, hilft Euch in Deutschland aber wenig, aber an den Europadaten arbeiten schon genug… Wenn ich sehe dass der aktuelle Brasiliendump gezippt nur 58 MB gross ist für ein Land, dass genauso gross ist wie Europa, haben wir enormen Nachholbedarf (übrigens: Die Navteq Karten sind das letzte hier)…

wambacher · 2010-08-16T09:09:04.000Z

mal ne “ganz blöde” frage:
was machst du mit den flüßen und wegen, die schon drin sind?
gruss
walter

p.s. und welcher landkreis?

_i · 2010-08-16T09:47:34.000Z

Hmm und wenn du nen account für den Dev Server holst und das quasi nur fernsteuerst? Dann biste zwar mal offline aber dein Import rennt weiter…

wambacher · 2010-08-16T10:19:09.000Z

HEEEEEEEEEEEEEEEEE

was machst du denn da???
nur knoten aber bisher keine ways!!!

ich glaube, du hast da mächtig was falsch verstanden!!!

mach dich bitte erstmal schlau, bevor du solchen “müll” hochschiebst.

walter

http://www.openstreetmap.org/?lat=-25.15406&lon=-50.19209&zoom=16&layers=M

deltabrasil · 2010-08-16T13:13:28.000Z

Die Ways kommen im letzten Changeset (s. Edit), vorher added das Teil nur Knoten - sind natürlich 110.000 - erst die Knoten, dann die Wege.

was machst du mit den flüßen und wegen, die schon drin sind?

Am Wochenende wieder rauswerfen mit Überlappungserkennung… Viel ist da aber nicht vorhanden.

ich glaube, du hast da mächtig was falsch verstanden!!!

Neeh, aber Du…

mach dich bitte erstmal schlau, bevor du solchen “müll” hochschiebst.

Warte ab, bis das Changeset zu ist, die OSM API ist doch nicht die schnellste, bevor du maulst, warum hast du nicht auf meine Changesets geschaut? Wenn da steht in Bearbeitunbg ist noch nicht aller Tage Abend.

Nachgesachaut: Flüsse sind im letzten Changeset gespeichert. In der Ruhe liegt die Kraft…

amm · 2010-08-16T13:43:39.000Z

deltabrasil:

Lizenzen? Nein, eine Erlaubnis
Frei übersetzt:
“Wenn du die Shapefiles da importieren kannst, bedien’ dich”

Falls nicht schon geschehen, kann der Import bitte auch unter http://wiki.openstreetmap.org/wiki/Import/Catalog vermerkt werden inklusive einem Verweis auf die Erlaubniss?

In Hinsicht auf “leere” nodes waerend eines Imports ist der Thread ( http://lists.openstreetmap.org/pipermail/talk/2010-August/052962.html ) auf talk gerade recht interessant.

wambacher · 2010-08-16T14:06:47.000Z

deltabrasil:

Die Ways kommen im letzten Changeset (s. Edit), vorher added das Teil nur Knoten - sind natürlich 110.000 - erst die Knoten, dann die Wege.

sorry und thanx,

war ich - eventuell - etwas vorschnell. aber wir haben schon mächtig ärger/probleme gehabt mit gut gemeinten uploads.
wenn ich da nur an oberförster denke - was heckt der denn derzeit aus?

ich hoffe nur, dass aus den 110000 nodes dann auch einige tausend ways werden. bin mir aber inzwischen ziemlich sicher, dass das gut geht und ok ist.

gruss aus dem kalten taunus in den warmen urwald

walter

p.s. und leicht off topic: was machst du da unten denn? leben/arbeiten/fremdenlegion/… ?

deltabrasil · 2010-08-16T22:33:50.000Z

Hallo,

Falls nicht schon geschehen, kann der Import bitte auch unter http://wiki.openstreetmap.org/wiki/Import/Catalog vermerkt werden inklusive einem Verweis auf die Erlaubniss?

Die ist als source_ref getaggt, wenn der Import da komplett durch ist, trage ich es ein, es fehlen noch Admin Boundaries und die Strassen.

Das mit dem Schrott Import ist mir klar. Ich glaube, dass entweder das Pyton Tool die Ways am Ende gesetzt hat oder es war Merkaartor. Merkwürdig fand ich das zuerst auch, aber na gut.

deltabrasil · 2010-08-17T00:40:08.000Z

Der Import war bei genauerem! hinsehen und nichgt nur über Mapnik doch noch Teilschrott. Ich versuche es nochmal und reverte gerade erstmal die Changesets, da hängen noch zuviele Knoten lose in der Luft rum. Vermute, das Changeset wurde zu früh geschlossen. Der Bereich gehört jetzt mir, mir allein

Ansonsten wenn das auch nochmal nicht funktioniert, uploade ich mit JOSM vom Internetcafe morgen/übermorgen o. lasse jemand anders hochladen…

Edit: Vermutung: node_count Problem, checke das gerade mit JOSM gegen.