Tässä pitkähkö kirjoitus pääsiäisten aikana kertyneiden torrent-kokemusten pohjalta. Kunhan se wiki-sivu on olemassa, niin tästä voisi kopioida sinne oleellisimmat osat taustatiedoksi. Jos ei jaksa lukea koko tekstiä, niin tässä yhteenveto:
- Ilmakuvissa on liian paljon massaa jotta niitä kannattaisi ruveta jakelemaan kotikoneilta torrentteina.
- Maastotietokanta sen sijaan on ihan siedettävän kokoinen ja todennäköisesti sen verran kiinnostava, että sen jakelu torrettina voisi toimia todella hienosti.
- Koska MML on lisäksi päättänyt pilkkoa maastotietokannan noin 3018:aan erikseen ladattavaan palaseen, niin yhtenä noin 10 gigatavun suuruisena torrent-latauksena tuleva maastotietokanta olisi kaikille tehokäyttäjille paljon parempi vaihtoehto.
- MML:n tiedostomuotovalikoima ei ole paras mahdollinen avoimen lähdekoodin paikkatietokäyttäjille, ja Spatialite-torrent toisi tälle käyttäjäjoukolle huimasti lisäarvoa.
Tästä alkaa pääsiäismuistioni.
Kotiliittymäni (8/1 Mbit/sek) nopeus näyttää olevan todellisuudessa
sitä mitä on luvattukin, ja torrenttien jakovauhti pysytteli
tasaisesti yli 100 kilotavun sekunnissa. Tasaisella vauhdilla
jakeluun lähti siis 6 Mt minuutissa, 360 Mt tunnissa ja 8640 Mt
vuorokaudessa. Kuitenkin koko kaistan antaminen torrenteille
haittasi toisinaan varsin paljon kaikkea muuta netin käyttöä. Käytännössä
tuskin kannattaa laskea jakeluvauhdiksi kuin korkeintaan puolet
noista luvuista.
Pääsiäisen aikaan Suomi-mosaiikki (630 Mt) haettiin 3 kertaa, Eurooppa-
mosaiikki (1,7 Gt) yhden kerran ja 7-kanavainen Itämeri-mosaiikki
(9,7 Gt) yhden kerran. Suomikuva meni lataajille perille ilmeisesti
noin tunnissa, koska sillä oli kaksi tai kolme muutakin jakajaa. Euroopan
lataaminen kesti varmaan vuorokauden ellei kauemminkin, ja Itämeren
satelliittikuvakoostetta sai ladata ainakin neljä vuorokautta.
Johtopäätökset eivät ole kovin yllättäviä. Torrentit toimivat sitä
paremmin mitä enemmän verkossa on jakajia. Yhdellä kotiliittymällä ei
mihinkään suuriin ihmeisiin pystytä ja kymmenen gigan tiedoston
ensimmäiseen jakoon kotikoneelta menee helposti viikko, jos rajoittaa
kaistanleveyttä ja sammuttaa koneen välillä. Toisaalta torrent-lataus
on todella luotettava, ja yhdeltäkin jakajalta saa tiedostot kerätyksi,
kunhan vaan jaksaa odottaa.
Kun ottaa tosiasiat huomioon niin on varmaan parasta unohtaa ilmakuva-
torrentit. Kotikoneella ei voisi kuitenkaan pitää kuin yhtä 10 gigan
pakettia jaossa, eikä ilmakuvat kuitenkaan niin paljon jaksa ketään
kiinnostaa, että torrentit lähtisivät koskaan kunnolla käyntiin.
Vektoreista sen sijaan kannattaisi ilman muuta rakentaa torrent.
Siinäkin tapauksessa, että Maanmittauslaitos keksisi tehdä sen itse,
niin tarjolle tulevien tiedostomuotojen rinnalle pitäisi saada yksi
avoimen lähdekoodin ohjelmille viritetty vaihtoehto. Nythän tarjolle
on tulossa GML, Mapinfo MIF ja shapefile.
http://www.maanmittauslaitos.fi/avoindata/hankinta
GML-tiedostomuoto on kaikille käyttäjille ja ohjelmille tasapuolinen,
sillä käytännössä GML on aina muunnettava johonkin
muuhun tiedostomuotoon ennen kuin sitä voidaan ylipäätään käyttää mihinkään
hyödylliseen. Muunnos sinänsä on nopeaa ja onnistuu GDAL:in ogr2ogr-ohjelmalla.
Mapinfo MIF:iin pätee sama, paitsi että jos sattuu olemaan Mapinfo
käytössä, niin MIF:it voidaan muuntaa sillä automaattisesti
TAB-muotoon ja sen jälkeen käyttö Mapinfolla on tehokasta. Millään
avoimen lähdekoodin ohjelmalla ei Mapinfon tiedostoja voi muokata,
mutta lukeminen ja muunnokset kyllä onnistuvat MITAB-kirjaston ansiosta esimerkiksi
GDAL:lla.
Hyvin monet avoimen lähdekoodin paikkatieto-ohjelmat tukevat shapefile-
muotoa ja myös niiden muokkaaminen on mahdollista. Siitä syystä
shapefilejä ei olisi pakko muuntaa ollenkaan toisiin tiedostomuotoihin.
Käytännössä se voi silti olla järkevää. Maastotietokanta aiotaan
nimittäin ensinkin pilkkoa 12x12 kilometrin ruutuihin
http://www.maanmittauslaitos.fi/node/9999
Tämä puolestaan merkitsee sitä, että ladattavaa kertyy noin 3018 yksikköä
(2 x lehti_25t tiedostossa
http://latuviitta.org/documents/ETRS-TM35FIN_karttalehtitietokanta.pdf))
GML-tiedostomuotoa käytettäessä koko maan kattamiseen tarvitaan sama
määrä tiedostoja eli 3018 kappaletta. MIF-tiedostot ovat todellisuudessa
aina MIF/MID -tiedostopari, joten levylle purettuna tiedostoja tulee
olemaan yhteensä reilut 6000 kappaletta. Shapefile-muoto räjäyttää potin
tiedostojen määrässä, sillä ensinkin shapefile on aina vähintään kolmen
tiedoston nippu (.shp, .shx ja .dbf). Lisäksi shapefile ei myöskään
voi sisältää kuin vain joko pisteitä, viivoja tai alueita. Siitä
syystä yhden karttalehden lataus shapefile-muodossa purkautuu 9:ksi
erilliseksi tiedostoksi ja 3000:sta karttalehteä varten tarvitaan liki
30000 erillistä tiedostoa, mikä ei ole ollenkaan kätevää.
Muutaman vuoden takainen maastotietokanta näyttää olevan zipattuina
shapefileinä noin 9,5 gigatavua, eli ei mitenkään mahdottoman paljon.
Minusta kokeilemisen arvoinen ja realistinen tapa saada vektorijakeluun
vauhtia ja tehdä maastotietokannasta erityisen hyvin avoimen lähdekoodin
ohjelmille sopiva setti olisi koota ensiksikin MIF/MID -muodossa 1:200000
karttalehtien kokeisia zip-paketteja (38 kappaletta) ja laittaa ne saataville
torrentteina tai FTP:n kautta. Kun kaikki vektorit olisivat koossa, niin
ne ajettaisiin yhteen Spatialite-tietokantaan, johon tehtäisiin valmiiksi
muutama tärkein indeksi (spatiaali-indeksiä ja tavallinen indeksi “luokka”-nimiselle
ominaisuudelle on useimmin tarpeen). Tätä Spatialite-kantaa voisi sellaisenaan käyttää
erinomaisen tehokkaasti Quantum GIS -ohjelmalla, Mapserverillä ja Mapnikilla,
ja kohtuullisen hyvin myös OpenJUMP:lla. GDAL:lla voitaisiin sitten tehdä
muunnokset muihin formaatteihin ja tietokantoihin, kuten PostGIS:iin tai
Oracleen. Kyseessä ei siis olisi Maanmittauslaitoksen tietojen kopiointi
vaan jalostaminen tehokkaammin ja monipuolisemmin käytettävään muotoon.
Mahdollisesti OSM:iin vietävien kohteiden irrotus maastotietokannasta
on sitten jo varsin helppoa tehdä Spatialite-kannasta.
