[geloest] osm, osconvert u. filter auf einer opensuse 13.1 - errors

Communities Deutschland (Germany)
1

guten abend, bin relativ neu in dem thema

update: [geloest] - Dank der tollen Hilfe in diesem Forum hab ich das geloest!!!

Danke nochmals… vg

**hier den Thread lass ich stehn.
**
habe osmosis, osconvert u. osmfilter auf einer opensuse 13.1 via Terminal installiert. Was meint ihr - wie ist es gelungen!?



linux-c5sz:/home/martin # wget http://bretth.dev.openstreetmap.org/osmosis-build/osmosis-latest.tgz
--2014-04-14 19:56:00--  http://bretth.dev.openstreetmap.org/osmosis-build/osmosis-latest.tgz
Auflösen des Hostnamen »bretth.dev.openstreetmap.org (bretth.dev.openstreetmap.org)«... 128.40.168.103
Verbindungsaufbau zu bretth.dev.openstreetmap.org (bretth.dev.openstreetmap.org)|128.40.168.103|:80... verbunden.
HTTP-Anforderung gesendet, warte auf Antwort... 200 OK
Länge: 9079737 (8,7M) [application/x-gzip]
In »»osmosis-latest.tgz«« speichern.

100%[======================================================================================================================================================>] 9.079.737    623KB/s   in 14s    

2014-04-14 19:56:15 (624 KB/s) - »»osmosis-latest.tgz«« gespeichert [9079737/9079737]

linux-c5sz:/home/martin # mkdir osmosis
linux-c5sz:/home/martin # cd osmosis
linux-c5sz:/home/martin/osmosis # tar xzf ../osmosis-latest.tgz
linux-c5sz:/home/martin/osmosis #  wget -O - http://m.m.i24.cc/osmconvert.c | cc -x c - -lz -O3 -o osmconvert
If 'cc' is not a typo you can use command-not-found to lookup the package that contains it, like this:
    cnf cc
--2014-04-14 20:07:32--  http://m.m.i24.cc/osmconvert.c
Auflösen des Hostnamen »m.m.i24.cc (m.m.i24.cc)«... 80.67.17.148, 2a00:1158:0:300:432f::1
Verbindungsaufbau zu m.m.i24.cc (m.m.i24.cc)|80.67.17.148|:80... verbunden.
HTTP-Anforderung gesendet, warte auf Antwort... 200 OK
Länge: 416054 (406K) [text/plain]
In »»STDOUT«« speichern.

 0% [                                                                                                                                                       ] 0           --.-K/s   in 0s      


Kann nicht nach »»-«« schreiben (Datenübergabe unterbrochen (broken pipe)).
linux-c5sz:/home/martin/osmosis #

hmm - da schien etwas fehlgeschlagen zu sein…

und dann habe ich das hier entdeckt:

http://lsces.co.uk/wiki/OSM+tool+set+on+SUSE13.1



linux-c5sz:/home/martin/osmosis # zypper install gcc zlib-devel
Die Systemverwaltung ist durch die Anwendung mit dem PID 3599 (/usr/lib/YaST2/bin/y2base) gesperrt.
Schließen Sie diese Anwendung, bevor Sie es erneut probieren.
linux-c5sz:/home/martin/osmosis # 
linux-c5sz:/home/martin/osmosis # zypper install gcc zlib-devel
Daten des Repositories laden ...
Installierte Pakete lesen ...
Paketabhängigkeiten auflösen ...
                                                                                                                                                                                                
The following 9 NEW packages are going to be installed:                                                                                                                                         
  binutils gcc gcc48 glibc-devel libasan0 libatomic1 libitm1 linux-glibc-devel zlib-devel                                                                                                       
                                                                                                                                                                                                
9 neue Pakete zu installieren.                                                                                                                                                                  
Gesamtgröße des Downloads: 12,0 MiB. Nach der Operation werden zusätzlich 51,5 MiB belegt.                                                                                                      
Fortfahren? [j/n/? zeigt alle Optionen] (j): j                                   
Paket binutils-2.23.2-8.1.2.i586 wird abgerufen                                                                                                            (1/9),   3,6 MiB ( 21,7 MiB entpackt)
Abruf: binutils-2.23.2-8.1.2.i586.rpm ....................................................................................................................................[fertig (662,1 KiB/s)]
Paket libasan0-4.8.1_20130909-3.2.1.i586 wird abgerufen                                                                                                    (2/9),  68,6 KiB (181,8 KiB entpackt)
Abruf: libasan0-4.8.1_20130909-3.2.1.i586.rpm ..........................................................................................................................................[fertig]
Paket libatomic1-4.8.1_20130909-3.2.1.i586 wird abgerufen                                                                                                  (3/9),  14,1 KiB ( 21,4 KiB entpackt)
Abruf: libatomic1-4.8.1_20130909-3.2.1.i586.rpm ........................................................................................................................................[fertig]
Paket libitm1-4.8.1_20130909-3.2.1.i586 wird abgerufen                                                                                                     (4/9),  34,3 KiB (117,6 KiB entpackt)
Abruf: libitm1-4.8.1_20130909-3.2.1.i586.rpm ...........................................................................................................................................[fertig]
Paket linux-glibc-devel-3.11-2.1.15.noarch wird abgerufen                                                                                                  (5/9), 891,0 KiB (  3,6 MiB entpackt)
Abruf: linux-glibc-devel-3.11-2.1.15.noarch.rpm ..........................................................................................................................[fertig (662,6 KiB/s)]
Paket glibc-devel-2.18-4.7.1.i686 wird abgerufen                                                                                                           (6/9), 619,5 KiB (  2,8 MiB entpackt)
Abruf: glibc-devel-2.18-4.7.1.i686.rpm ...................................................................................................................................[fertig (503,1 KiB/s)]
Paket zlib-devel-1.2.8-3.1.2.i586 wird abgerufen                                                                                                           (7/9),  63,2 KiB (189,4 KiB entpackt)
Abruf: zlib-devel-1.2.8-3.1.2.i586.rpm .................................................................................................................................................[fertig]
Paket gcc48-4.8.1_20130909-3.2.1.i586 wird abgerufen                                                                                                       (8/9),   6,8 MiB ( 23,0 MiB entpackt)
Abruf: gcc48-4.8.1_20130909-3.2.1.i586.rpm ...............................................................................................................................[fertig (582,9 KiB/s)]
Paket gcc-4.8-2.1.2.i586 wird abgerufen                                                                                                                      (9/9),   4,8 KiB (    0 B entpackt)
Abruf: gcc-4.8-2.1.2.i586.rpm ..........................................................................................................................................................[fertig]
(1/9) Installation von: binutils-2.23.2-8.1.2 ..........................................................................................................................................[fertig]
Zusätzliche rpm-Ausgabe:
update-alternatives: using /usr/bin/ld.bfd to provide /usr/bin/ld (ld) in auto mode


(2/9) Installation von: libasan0-4.8.1_20130909-3.2.1 ..................................................................................................................................[fertig]
(3/9) Installation von: libatomic1-4.8.1_20130909-3.2.1 ................................................................................................................................[fertig]
(4/9) Installation von: libitm1-4.8.1_20130909-3.2.1 ...................................................................................................................................[fertig]
(5/9) Installation von: linux-glibc-devel-3.11-2.1.15 ..................................................................................................................................[fertig]
(6/9) Installation von: glibc-devel-2.18-4.7.1 .........................................................................................................................................[fertig]
(7/9) Installation von: zlib-devel-1.2.8-3.1.2 .........................................................................................................................................[fertig]
(8/9) Installation von: gcc48-4.8.1_20130909-3.2.1 .....................................................................................................................................[fertig]
(9/9) Installation von: gcc-4.8-2.1.2 ..................................................................................................................................................[fertig]
linux-c5sz:/home/martin/osmosis # 
linux-c5sz:/home/martin/osmosis # wget -O - http://m.m.i24.cc/osmconvert.c | cc -x c - -lz -O3 -o osmconvert
--2014-04-14 20:21:17--  http://m.m.i24.cc/osmconvert.c
Auflösen des Hostnamen »m.m.i24.cc (m.m.i24.cc)«... 80.67.17.148, 2a00:1158:0:300:432f::1
Verbindungsaufbau zu m.m.i24.cc (m.m.i24.cc)|80.67.17.148|:80... verbunden.
HTTP-Anforderung gesendet, warte auf Antwort... 200 OK
Länge: 416054 (406K) [text/plain]
In »»STDOUT«« speichern.

100%[======================================================================================================================================================>] 416.054      396KB/s   in 1,0s   

2014-04-14 20:21:18 (396 KB/s) - auf die Standardausgabe geschrieben [416054/416054]

und dann osmfilter - wie auf der wikiseite beschrieben

linux-c5sz:/home/martin/osmosis #  wget -O - http://m.m.i24.cc/osmfilter.c |cc -x c - -O3 -o osmfilter
--2014-04-14 20:22:31--  http://m.m.i24.cc/osmfilter.c
Auflösen des Hostnamen »m.m.i24.cc (m.m.i24.cc)«... 80.67.17.148, 2a00:1158:0:300:432f::1
Verbindungsaufbau zu m.m.i24.cc (m.m.i24.cc)|80.67.17.148|:80... verbunden.
HTTP-Anforderung gesendet, warte auf Antwort... 200 OK
Länge: 213497 (208K) [text/plain]
In »»STDOUT«« speichern.

100%[======================================================================================================================================================>] 213.497      327KB/s   in 0,6s   

2014-04-14 20:22:32 (327 KB/s) - auf die Standardausgabe geschrieben [213497/213497]

<stdin>: In function ‘oo__close’:
<stdin>:5166:5: warning: call to function ‘read_close’ without a real prototype [-Wunprototyped-calls]
<stdin>:1079:13: note: ‘read_close’ was declared here
linux-c5sz:/home/martin/osmosis #

denke mal dass es gut geklappt hat - bin aber nicht ganz sicher ob das alles in das richtige verzeichnis gegangen ist…1?!?`

2

Wie lautet denn eigentlich deine Frage?

Gruß Klaus

3

hallo und guten Abend

vielen Dank für deine rasche Antwort . - super dass du dich gemeldet hast.

also - es gibt einen Update:

update;: als ich bei oben genannter Installation auf einer OpenSuse 13.1 dieses Beispiel laufen lassen wollte hat es zunächt gut angefangen - dann aber nach dem die germany files runtergeladen waren stoppte alles - siehe unten die DETAILS. Denke mal dass osmconvert und osmfilter nicht richtig installiert wurden!?

was meinst du - - das Beispiel wollte ich laufen lassen:

example;


wget download.geofabrik.de/openstreetmap/europe/germany.osm.pbf
osmconvert germany.osm.pbf --all-to-nodes -o=germany.o5m
osmfilter germany.o5m --keep="amenity=shop or shop=*" -o=shops.o5m
osmconvert shops.o5m --csv="@id @lon @lat shop name" --csv-headline -o=shops.csv

das ist dabei herausgekommen:







linux-c5sz:/home/martin/osmosis # wget download.geofabrik.de/openstreetmap/europe/germany.osm.pbf
--2014-04-14 20:44:33--  [url]http://download.geofabrik.de/openstreetmap/europe/germany.osm.pbf[/url]
Auflösen des Hostnamen »download.geofabrik.de (download.geofabrik.de)«... 144.76.34.132, 5.9.158.99, 144.76.4.22
Verbindungsaufbau zu download.geofabrik.de (download.geofabrik.de)|144.76.34.132|:80... verbunden.
HTTP-Anforderung gesendet, warte auf Antwort... 301 Moved Permanently
Platz: [url]http://download.geofabrik.de/europe/germany-latest.osm.pbf[/url][folge]
--2014-04-14 20:44:33--  [url]http://download.geofabrik.de/europe/germany-latest.osm.pbf[/url]
Wiederverwendung der bestehenden Verbindung zu download.geofabrik.de:80.
HTTP-Anforderung gesendet, warte auf Antwort... 302 Found
Platz: [url]http://ftp5.gwdg.de/pub/misc/openstreetmap/download.geofabrik.de/germany-latest.osm.pbf[/url][folge]
--2014-04-14 20:44:33--  [url]http://ftp5.gwdg.de/pub/misc/openstreetmap/download.geofabrik.de/germany-latest.osm.pbf[/url]
Auflösen des Hostnamen »ftp5.gwdg.de (ftp5.gwdg.de)«... 134.76.12.5, 2001:638:60f:110::1:1
Verbindungsaufbau zu ftp5.gwdg.de (ftp5.gwdg.de)|134.76.12.5|:80... verbunden.
HTTP-Anforderung gesendet, warte auf Antwort... 200 OK
Länge: 2087429033 (1,9G) [text/plain]
In »»germany.osm.pbf«« speichern.

100%[====================================================================================================================================================>] 2.087.429.033  715KB/s   in 50m 58s

2014-04-14 21:35:31 (667 KB/s) - »»germany.osm.pbf«« gespeichert [2087429033/2087429033]

linux-c5sz:/home/martin/osmosis # osmconvert germany.osm.pbf --all-to-nodes -o=germany.o5m
If 'osmconvert' is not a typo you can use command-not-found to lookup the package that contains it, like this:
    cnf osmconvert
linux-c5sz:/home/martin/osmosis # osmfilter germany.o5m --keep="amenity=shop or shop=*" -o=shops.o5m
If 'osmfilter' is not a typo you can use command-not-found to lookup the package that contains it, like this:
    cnf osmfilter
linux-c5sz:/home/martin/osmosis # osmconvert shops.o5m --csv="@id @lon @lat shop name" --csv-headline -o=shops.csv^C
linux-c5sz:/home/martin/osmosis #

wie man sieht - ist der download der »»germany.osm.pbf«« noch gut gegangen es wude dieses File gespeichert-, [2087429033/2087429033]

Aber danach bin ich in Schwierigkeiten gekommen - warum weiß ich auch nicht genau!?

Denke mal dass es mit der Installation von osmconvert u. osmfilter wohl zu tun hat.

Freu mich wenn du da mir hier einen Tipp geben kannst.

vg tag

4

Versuch mal ./ vor dem osmfilter und osmconvert, z.B. ./osmfilter Germany.o5m…
Grüße
Andreas

5

guten Abend Andreas

vorweg - vielen Dank für deine schnelle Antwort!!

also du meinst ich solle die beiden auf den folgenden wikiseiten angegebenen Kommandos abändern

die kommandos hier

http://wiki.openstreetmap.org/wiki/Osmconvert
und

http://wiki.openstreetmap.org/wiki/Osmfilter

den code - wie man ihn ja auch oben sehen kann - in der Terminal-Copy


linux-c5sz:/home/martin/osmosis # wget -O - http://m.m.i24.cc/osmconvert.c | cc -x c - -lz -O3 -o osmconvert
--2014-04-14 20:21:17--  http://m.m.i24.cc/osmconvert.c

und hier


linux-c5sz:/home/martin/osmosis #  wget -O - http://m.m.i24.cc/osmfilter.c |cc -x c - -O3 -o osmfilter
--2014-04-14 20:22:31--  http://m.m.i24.cc/osmfilter.c

also etwa so:


 ./ vor dem osmfilter und osmconvert, z.B. ./osmfilter Germany.o5m...

Das werde ich mal ausprobieren - und mich dann wieder spaeter mit den Resultaten melden.

Dir nochmals vielen Dank!

bis spaeter - ich meld mich auf alle Faelle wieder
vg tag :slight_smile:

6

Nein, die wget-Zeilen so lassen, wie sie sind. Das ./ beim Ausführen verwenden:
**./**osmconvert germany.osm.pbf --all-to-nodes -o=germany.o5m
**./**osmfilter germany.o5m --keep=“amenity=shop or shop=*” -o=shops.o5m
Grüße Andreas

7

hallo Andreas

ja vielen Dank nochmals. Ja hab das kapiert - das AUSFUEHREN - darauf kam es an.

es geht - ich hab es so eingesetzt:


linux-c5sz:/home/martin/osmosis # osmconvert shops.o5m --csv="@id @lon @lat shop name" --csv-headline -o=shops.csv^C
linux-c5sz:/home/martin/osmosis # ./osmconvert germany.osm.pbf --all-to-nodes -o=germany.o5m
osmconvert Error: not enough space. Increase --max-objects=
linux-c5sz:/home/martin/osmosis # ./osmfilter germany.o5m --keep="amenity=shop or shop=*" -o=shops.o5m
osmfilter Warning: unexpected end of input file: germany.o5m
linux-c5sz:/home/martin/osmosis # ./osmconvert shops.o5m --csv="@id @lon @lat shop name" --csv-headline -o=shops.csv
linux-c5sz:/home/martin/osmosis #
  • und nun wird ein sehr sehr groesses CSV erstellt - - es hat schon 1.7 MB - ich krieg es kaum auf mit Libreoffice. ABER wie man sieht - geht es schon.

Dir vielen Dank!!

btw - ausgehend von dem oben genannten Beispiel will ich nun mal einige Versuche machen:


./osmconvert germany.osm.pbf --all-to-nodes -o=germany.o5m
./osmfilter germany.o5m --keep="amenity=shop or shop=*" -o=shops.o5m
./osmconvert shops.o5m --csv="@id @lon @lat shop name" --csv-headline -o=shops.csv

also

werde jetzt etwas rumspielen - mit dem Beispiel - um ggf einfach kleinere Ergebnis-CSV zu produzieren.
.


/osmfilter germany.o5m --keep="amenity=restaurant or restaurant=*" -o=restaurant.o5m
./osmconvert restaurant.o5m --csv="@id @lon @lat shop name" --csv-headline -o=restaurant.csv

werde sehen wie es geht!?

Dir, Andreas nochmals vielen Dank!

8

update: sehe grade dass ich auf dem medion-notebook ggf einfach in die limits komme:;

guck dir mal das an…





linux-c5sz:/home/martin/osmosis # osmconvert shops.o5m --csv="@id @lon @lat shop name" --csv-headline -o=shops.csv^C
linux-c5sz:/home/martin/osmosis # ./osmconvert germany.osm.pbf --all-to-nodes -o=germany.o5m
osmconvert Error: not enough space. Increase --max-objects=
linux-c5sz:/home/martin/osmosis # ./osmfilter germany.o5m --keep="amenity=shop or shop=*" -o=shops.o5m
osmfilter Warning: unexpected end of input file: germany.o5m
linux-c5sz:/home/martin/osmosis # ./osmconvert shops.o5m --csv="@id @lon @lat shop name" --csv-headline -o=shops.csv

da ist ein Limit erreicht - oder was meinst du denn!?

9

Im Quellcode von osmconvert.c steht, dass per Default 25 Mio. OSM Objekte unterstützt werden. Dazu sind 400 MByte RAM notwendig. Wenn Du viel RAM hast (>1 GByte) versuch mal den Parameter --max-objects=50000000
Ansonsten kannst Du auch mit einem kleineren Gebiet arbeiten und nicht gleich ganz Deutschland, sondern z.B. Bayern
Grüße Andreas

10

hallo Andreas

vielen Dank für deine schnelle Antwort. Habe ein Medion Notebook

habe deinen Rat mal beherzigt und mit einem Anderen File gearbeitet - für das Saarland:

./osmconvert saarland-latest.osm.pbf --all-to-nodes -o=saarland.o5m
./osmfilter saarland.o5m --keep="amenity=shop or shop=*" -o=shopsaarland.o5m
./osmconvert shopsaarland.o5m --csv="@id @lon @lat shop name" --csv-headline -o=shopsaarland.csv

das obenstehende funktioniert klasse

neu: das untenstehende auch


./osmconvert saarland-latest.osm.pbf --all-to-nodes -o=saarlandcontact.o5m
./osmfilter saarlandcontact.o5m --keep="amenity=shop or shop=*" -o=shopsaarlandcontact.o5m
./osmconvert shopsaarlandcontact.o5m --csv="@id @lon @lat shop name website email" --csv-headline -o=shopsaarlandmails.csv

geht alles.

Vielen Dank

VG tag —

ps - setze - wenn das moeglich ist den Thread auf geloest! :wink: Werde sicher weitergehende Fragen haben - dann gehen die aber in einen anderen Thread.