OSM Transport Karte und Upload verbessern ?

Wieso das Datum sollte sich doch ändern oder?

Klar ändert sich das lokale Datum des Torrents, wenn ein neuer gleichnamiger heruntergeladen wird. Nur kann ich eben noch nicht bestätigen, dass Vuze das aus berücksichtigt, da ich diesen Fall heute noch nicht hatte.

Was mich viel mehr wundert, ist dass er derzeit Torrents nicht herunterlädt (z.B. 01), obwohl die angeblich bei Dropbox verhanden sein sollen.

Da ist Marko gefragt.

Ich habe Walters Script übernommen und hiermit sei das jetzt die einzig wahre Benennung und der offizielle endgültige Verbreitungsweg der Torrent-Files :wink:

Das Datum im Dateinamen der Zip-Datei schon. Die heisst z.B. “OSM-Transport-Karte-No09-Date-2014-10-16.zip”. Die Torrent-Datei, die mir sagt, wie ich diese Zip-Datei bekomme, soll “OSM-Transport-Karte-No09.zip.torrent” heissen, unabhängig vom Datum. So habe ich jedenfalls

verstanden und derzeit funktioniert das auch für Nummer 02, 03 und 09.

Grüße, Max

Ja, deckt sich ja auch mit meinen Erfahrungen.

Nur: ich habe mal wieder ziemlich lange Downloadzeiten (Stunden):


Dazu sehe ich in der Liste der Quellen, daß für http kein Server definiert ist. Jetzt kann ich endlich von DropBox herunterladen nur ist das jetzt nicht mehr konfiguriert. Oder ich übersehe da was?

Gruss
walter

@marko: Never touch a running system :wink:

Die Karten 03 und 02 haben wir beide heute Nachmittag gleichzeitig runtergeladen. Unsere zwei Server bekommen dann zwar verschiedene Stückchen der Datei und schieben sich gegenseitig das zu, was sie haben, aber mindestens einmal muss das Zeug durch Win32s Leitung. Die liefert anscheinend nur 100kByte/s. Das dauert gut drei Stunden für 1200MByte.

Die 09 hast du gerade von mir geladen, die ich heute früh abgeholt habe. Das dauerte dann Minuten, das System funktioniert also :wink:

Das Prinzip von BitTorrent ist mir eigentlich klar. Was ich nicht verstehe:

Hat Marco jemals seine Datenfiles (nicht die Torrents!) zu Dropbox hochgeladen oder nicht?
Wenn die da wären und das in dem Torrent drin stände, könnte ich mir diese doch mit der Upload-Rate von Dropbox herunterladen, oder?

Bei der Karte No11 war das vorher wohl der Fall:

Irgendwie hab ich da einen mentalen Knoten zwischen den Ohren.

Gruss
walter

Hi, seit 12:00 Uhr trudelt bei mir Karte 09 ein. Muß daher in der Stunde davor eingestellt worden sein, da Cron den Job bei mir stündlich startet.

Der Script und das nachfolgende automatische Adden zum Client scheint prima zu funktionieren.

Nachtrag: Da Marko anscheinend einen relativ langsamen Upload hat (stimmt das, Marko?) , bietet sich hier das sog. SuperSeeding an.
Dabei “sagt” der Ersteller seinem Torrent-Client, daß dieser die Teile seines Datenfiles nur 1x an die Kollegen weitergeben soll bis alle draußen sind.

Das bedeutet, das jedes Teilstück nur einmal hochgeladen wird, solange bis es bei irgend einem Kollegen angekommen ist. Die Kollegen können und werden sich danach miteinander austauschen und somit komplette Kopien besitzen.

Damit fällt das gemeinsame, parallele Herunterladen identischen Teile von Markos Client weg.

@Marko: denk mal drüber nach - oder mach es einfach :wink:

Gruss
walter

Das macht er schon, so wie es aussieht. Schau dir mal beim nächsten Update deine Peers an. Du hängst dann vermutlich mit ca 50kByte/s an Marko, ich auch (hier live zu beobachten). Unsere beiden Peers haben ziemlich schnell den gleichen Füllstand und schieben sich abwechselnd was zu. Das würden sie nicht machen, wenn sie die gleichen Teile der Datei hätten.

Grüße, Max

Hallo
Habe jetzt No 7 und 10 zugefügt
War unterwegs.

Aktuell sind jetzt schon lieferbar Karten No. 2-3-7-10

Neue Karte No 7 und 10 auch für die Automatik

Bei mir läuft die Automatik zu jeder vollen Stunde.

Der Upload feuert wenn es gut läuft 120 kb/s.

Mehr hab ich leider nicht :roll_eyes:

Deluge bevorzugt die Sauger die nicht blocken automatisch, somit brauche ich kein Super-Seeding zu nutzen.

So No 10 feuert gerade.

Ich habe jetzt normale Torrents gemacht da der Dropbox unzuverlässig liefert.
Das behindert mich dann am senden.

Beste Grüße
Marko

Und wenn mehrere Sauger, die nicht blocken, gleichzeitig dein neues File haben wollen? Die fragen jeden, den sie kennen, ob er das Fragment hat - und da bist du auch dabei. Resultat: du schickst das oft mehrfach. Bei SuperSeeding ist garantiert, dass 1 Fragment auch nur 1x deinen Rechner verläßt.
So etwa: “Ich hab das schon geschickt, besorg dir das gefälligst woanders”

Und wenn du dein File einmal komplett rausgeschickt hast, wird SuperSeeding automatisch abgeschaltet und es läuft alles wie vorher.

Mach es einfach an - schaden tut es dir nicht und uns wohlmöglich nutzen.

Gruss
walter

Hallo
Wie geschrieben, Deluge macht das automatisch, wenn Sauger vorhanden sind die verteilen bekommen die Teile nur einmal.

Deluge hat keine Einstellung dafür, KTorrent schon.

Ich habe jetzt 2 Sauger auf No 10 die sind 2 % hinterher. Also mittlerweile habe ich mehr verteilt wie die beiden bereits haben.
Ein 3. ist online zusehen bekommt aber von mir nichts ?

Ich habe meißt 100 % raus gesendet, da stehen die Sauger erst bei ca 92 % wenn es mehrere sind.

Hier mal zu sehen wie Deluge das handhabt:
https://www.dropbox.com/s/mgi7cymnubpii51/Super-Seed.png?dl=0

Hir gut zu sehen 100% sind raus gut verteilt:
https://www.dropbox.com/s/0p9cepihsid0hx9/100-.png?dl=0

Beste Grüße
Marko

Hi,

um 9:00 Uhr ist bei mir automatisch die No12 eingetrudelt - scheint ja alles so zu klappen.

Gruss
walter

ps: das Thema Superseed schliesse ich mal.

Hallo

Dann ist das mit dem Script die beste Idee, die Karte automatisiert zu holen.

Hier mal der Super-Seed von Deluge bei Karte No1 100 % raus, bei 4 verbunden 2 nicht.
https://www.dropbox.com/s/vixf75o3nznalik/uper%20Seed%202.png?dl=0

Gleich ist No 6 fertig, dann kann ich das Wiki umstellen.

Gut das alles klappt.
Beste Grüße
Marko

Jo.

eventuell könntest du mal prüfen, wieso kein Timestamp von DropBox kommt.

 
wget -N -A torrent https://dl.dropboxusercontent.com/u/72097706/OSM-Transport-Karte-No09.zip.torrent

--2014-10-18 12:00:13--  https://dl.dropboxusercontent.com/u/72097706/OSM-Transport-Karte-No09.zip.torrent
Auflösen des Hostnamen »dl.dropboxusercontent.com (dl.dropboxusercontent.com)«... 23.23.91.86, 54.243.75.239, 107.22.185.87, ...
Verbindungsaufbau zu dl.dropboxusercontent.com (dl.dropboxusercontent.com)|23.23.91.86|:443... verbunden.
HTTP-Anforderung gesendet, warte auf Antwort... 200 OK
Länge: 31381 (31K) [application/x-bittorrent]
»Last-modified«-Kopfzeile fehlt -- Zeitstempel abgeschaltet.
--2014-10-18 12:00:15--  https://dl.dropboxusercontent.com/u/72097706/OSM-Transport-Karte-No09.zip.torrent
Wiederverwendung der bestehenden Verbindung zu dl.dropboxusercontent.com:443.
HTTP-Anforderung gesendet, warte auf Antwort... 200 OK
Länge: 31381 (31K) [application/x-bittorrent]
In »»OSM-Transport-Karte-No09.zip.torrent«« speichern.

     0K .......... .......... ..........                      100%  137K=0,2s

2014-10-18 12:00:16 (137 KB/s) - »»OSM-Transport-Karte-No09.zip.torrent«« gespeichert [31381/31381]

und da steht immer drin: »Last-modified«-Kopfzeile fehlt – Zeitstempel abgeschaltet."

Kann man da bei DropBox noch was drehen? Wenn nicht, ist auch nicht schlimm.

Gruss
walter

Hallo
An Dropbox kan ich nichts machen.

Manuell ausgeführt läuft es gut durch im Terminal.

Ich baue gerade am automatischen “alte Dateien” löschen und “alte Torrents” löschen.

Bei mir sind 1,057 % raus bei No 6.
Könnt Ihr die Verfügbarkeit sehen ?
Bei mir wird sie nicht angezeigt.

Beste Grüße
Marko

Aus meiner Sicht (Stand 21:35 Uhr) stehen da mindestens drei Peers mit je 94% rum, haben seit Stunden den Kontakt zu dir verloren und warten auf die letzten 6%.

Nachtrag: Heute Morgen um 6:40 war dann alles da…

Grüße, Max

ja, sehe ich genau so. wir haben alle 94.5 % und es gibt keine vollständige Quelle. Das müsstest du eigentlich sein.
Und solange du nicht loslegst, warten wir halt.

Gruss
walter

23:00 uhr

Hallo
Ja gut ich sehe natürlich nix.

Aber warten auf 6 % heißt, das einer nicht weiter verteilt hat, raus waren 1,200.

Ich brauch noch ein Befehl um Deluge im Terminal neu zu starten, alles was ich bisher gefunden habe klappt nicht.

Denn nur bei einem Neustart werden die alten Torrents entfernt und die Daten aktualisiert. ( Das geht schon automatisch in .config/deluge ) :smiley:

Beste Grüße
Marko

Auf die Zahl darfst du dich nicht verlassen.

Zum einen könnte deine Erkennung von Servern, die nichts weitergeben ungenau sein.

Zum anderen gibt es viele Peers, die schnell saugen, aber nur langsam hochladen können. Wenn so ein Peer abschaltet, sobald er 100% runtergeladen hat, hat er noch keine 100% weitergegeben. Die fehlen dann den anderen noch.

Was mein Server hat, kannst dir ja ansehen. Bei allen Dateien, die unter “Derzeit verfügbare Torrents” aufgelistet sind und nicht “100%” in der 2. Spalte stehen haben, fehlt noch was. Falls eine Datei ganz fehlt, einfach warten, dann hab ich die Torrent-Dateien noch nicht abgeholt.

Die Liste ist leider nicht sortiert, aber die wenigen Dateien, die gerade abgeholt werden sollten ins Auge fallen. Die Up- und Download-Raten und die Schätzung der Dauer in der Liste kann man vergessen, da wird auf Basis der letzten Sekunde ein stundenlanger Vorgang hochgerechnet…

Grüße, Max

Schon mal an Vuze/Azareus gedacht? Klar, hast du mal mit rumgespielt und warst nicht zufrieden, aber glaub mir: es hat sich mächtig viel getan.

Gruss
walter