Ich suche nach der Möglichkeit die laufenden OSM-Planet-Diffs (daily, hourly bzw. minutely) automatisch über ein NAS zu laden.
Hintergrund: es soll sowieso ein NAS angeschafft werden und der Download der Diffs dauert über meine langsame Internet-Verbindung schon ne Weile, wenn man mehrere Tage aufholen will. Der NAS könnte die Diffs ständig nebenbei runterladen und osmosis würde auf dann die Diffs vom NAS verarbeiten.
Wie sieht das aus: Welches NAS hat schon so eine Funktionalität an Bord oder wo kann man z.B. rsync auf der Konsole starten? Oder was gibt es noch für Möglichkeiten?
Ich bin skeptisch, dass das was bringt - bei “meinen” Diff-Updates per osmosis -rri http://wiki.openstreetmap.org/wiki/Osmosis/Detailed_Usage#–read-replication-interval_.28–rri.29 dauerte der Download der Daten einer Stunde auf meiner alten 2Mbit-Leitung ca 60 Sekunden und die Verarbeitung 20 Minuten. Jetzt dauert der Download noch 5 Sekunden und die Verarbeitung immer noch 20 Minuten.
Aber wenn es sein muß, schau mal nach wget. Eventuell kennt dein Nas das. Rennt auf allen Plattformen.
Eventuell hilft das hier weiter: http://apps.unmondemeilleur.fr/nww/index_en.html Hab ich aber nicht verwendet, nur so ein Tip.
mach bei mir den ganzen Job. Download eines Datenblocks und Eintragen/Update der DB. Die ganze “Verwaltungsarbeit” (welche Diff-Files und wieviele werden runtergeladen) macht osmosis automatisch.
ich selber habe ein Synology-NAS zu Hause stehen, nutze es aber nicht zum downloaden… Aber dennoch, ein NAS von Synology sollte für sowas gehen. Evtl. müsste man noch das Programm pyLoad drauf installieren (vermutlich gibt es noch x andere Downloader zum nachinstallieren auf einem Synology, da müsstest Du Dich drum kümmern, da ich bis jetzt noch keinen Bedarf dazu habe).
Und wie komfortabel das Ganze ist, kann ich aber auch nicht beurteilen - jedoch kann man auch Cronjobs hinterlegen und per Telnet und SSH drauf zugreifen.
So wie ich das sehe, würde dies Deine Bedürfnisse abdecken.
Ich vermute mal, dass du dir für solche spezielle Aufgaben wohl selber ein NAS zusammen basteln musst. Die Notwendigkeit sehe ich aber nicht. Bei mir dauert ein planet-update von einer Woche an nem DSL1000 keine 2h. Also inklusive der kompletten Bearbeitung und des Downloads. Das schmeiße ich dann an, wenn der PC ohnehin läuft und dann ist gut.
Ich verwende hier ein älteres NAS von Raidsonic (“Icybox” - http://www.raidsonic.de/ - damit wäre das problemlos möglich. Grundsätzlich sollte Dein Anliegen mit jedem NAS realisierbar sein, welches Dir den Zugriff via SSH erlaubt. Doch eben diese Aussage geben leider nicht viele Hersteller… Positive Erfahrungen habe ich auch mit dem Hersteller QNAP - ob man dort allerdings eigene Scripte etc. unterbringen kann habe ich nicht getestet (die Anforderung stellte sich mir nicht). QNAP wäre heute meine erste Wahl beim Kauf eines NAS.
In Deinem Fall würde ich den Hersteller eines SSH-fähigen NAS hierzu vor Kauf direkt befragen. Ansonsten ist ein NAS nix anderes als ein kleiner Server. Alternativ könntest Du also auch einen Mini-PC als NAS einsetzen, und hättest so volle Kontrolle und Flexibilität.
Aber SSH heißt ja noch lange nicht, daß ich dort alles machen kann, wenn man nur eingeschränkte Userrechte hat. Man braucht auch Root-Zugriff.
QNAP ist tendenziell auch immer der teuerste Hersteller.
Schön beim einem NAS sind ja die kleinen Gehäuse, die nur wenig größer sind, als die Platten selbst. Beim Selbstbau finde ich auch immer das Thema Kühlung schwierig (soll ja ausreichend kühlen, aber nicht zu laut werden), fertige Geräte haben das schon ein fertiges Konzept.
Bei QNAP hast du vollen root-Zugriff. Das ist ein stark verschlanktes Linux. Es gibt aber sogar eine eigene Paketverwaltung, mit der man sich klassische Standardpakete (z.B. bind) nachinstallieren kann.
Genau deswegen schrieb ich hinzu: Hersteller vor Kauf fragen. Die Angaben die Hersteller und Händler zu ihren Geräten machen sind für Deinen Fall schlicht unzureichend.
Root braucht man aber nicht zwangsläufig - rsync, wget und diff können auch schon vorhanden sein. Ich kenne solche SSH-fähigen NAS als kleine Linuxkisten. Eine komfortable Bash ist eher nicht vorhanden, aber ein Basissystem mit dem man sich helfen kann gibts. Gibt es z.B. kein wget und kein root, muss man eben schauen was es gibt… (spontan: “lynx --dump” oder TCL-Shell könnten z.B. wget ersetzen).
Es ist eine Synology DS213 geworden. Schönes Teil. Sie läuft einwandfrei und fast lautlos.
SSH Zugang ist standardmäßig dabei. Zum Download habe ich ein Script aus Roland Olbrichts Overpass-API [1] abgewandelt. Auf der Synology mußte ich dazu allerdings noch bash nachinstallieren [2](default ist ash).
