Toukokuu ja torrentit

ahven1 · 2012-04-21T08:46:33.000Z

Nyt on reilu viikko aikaa datan avautumiseen. Minulle on jäänyt epäselväksi, minkälaisessa muodossa avattava data oikein tarkalleen on.
Onko se helposti heitettävissä Garmin-gpslaitteisiin?

JRA · 2012-04-22T09:43:30.000Z

Maanmittauslaitoksella on hyvä sivusto aiheesta http://www.maanmittauslaitos.fi/avoindata.
Toimitusmuodot ilmoitetaan sivulla http://www.maanmittauslaitos.fi/avoindata/toimitusformaatit

Tietoja ei ole helppo heittää Garmin-laitteisiin, mikä johtuu siitä, että Garminin tiedostomuoto ei ole julkinen. Aiheesta löytää kyllä paljon lukemista esimerkiksi hakusanoilla “shapefile” ja “Garmin”. Todennäköisesti ajan mittaan syntyy esimerkiksi wiki-sivusto, jossa esitetään toimivia menetelmiä maastotietojen muuntamiseksi ja viemiseksi erilaisille laitteille ja eri ohjelmistoihin.

Koska OSM-tiedostomuodosta Garmin-kartoiksi on olemassa valmiita, dokumentoituja menetelmiä, niin nopeiten käyttöönotettava tie MML:n vektoreista Garmineihin saattaa kulkea OSM-tiedostomuodon kautta. Tietoja ei ole pakko viedä OSM-tietokantaan, kunhan ne saadaan ensin muunnetuksi OSM-XML -muotoon. Tätäkin varten kaivataan ohjeita ja mallisuorituksia.

ahven1 · 2012-04-22T11:04:33.000Z

Kuka oikein päättää siitä, mitä tietoja OSM:ään viedään? Jos pääosa datasta päätettäisiin lykätä OSM:ään, niin onhan näitä palveluita, jotka automaattisesti tekevät OSM:stä Garmin-kartan.
Tosin minulla ei nimenomaan ole harmainta aavistustakaan, mitä importattavien tietojen joukkoon kuuluu.

posiki · 2012-04-25T04:45:53.000Z

Olen tehnyt tuosta MML:n aineistosta tilauksen, joten saan jossain vaiheessa käsiini maastotietokannan vektorit ja peruskarttarasterin. Molemmat voidaan sitten laittaa torrent-jakoon, ehkä nopeammin kuin lataamalla MML:n verkkopalvelusta.

Maastotietokannan osien siirto osaksi OSM on edelleen suunnitteilla. Juuri nyt ajelen Corine-aineistoa kuntoon, samaa prosessia olen ajatellut käyttää MML:n aineiston ajamiseen. Käsiä tässä tarvitaan lisää, erityisesti jälkitöihin. Kaikkea ei voi automatisoida.

posiki · 2012-04-25T07:21:32.000Z

Onko kokemuksia tuommoisista Torrent-palveluista? http://pulsedmedia.com/1gbps-seedbox-2012.php

JRA · 2012-04-25T08:59:49.000Z

Ei ole, mutta tuolla laillisettorrentit.net:llä näyttää olevan oma seedbox käytössä, mikä oli iloinen yllätys. Seurasin yhtä Europe Landsat -latausta ja seedbox syötti ainakin 90 prosenttia datasta ja minun kotikoneeni loput.

JRA · 2012-04-26T12:43:39.000Z

posiki:

Olen tehnyt tuosta MML:n aineistosta tilauksen, joten saan jossain vaiheessa käsiini maastotietokannan vektorit ja peruskarttarasterin. Molemmat voidaan sitten laittaa torrent-jakoon, ehkä nopeammin kuin lataamalla MML:n verkkopalvelusta.

Oikein hieno juttu. Verkkopalvelusta lataamista täytyy toki sitäkin harjoitella vaikka vain maineen kasvattamiseksi, ja 1:50000 rasterit ovat siihen tarkoitukseen passelin kokoinen aineisto. Ei valtavan suuri mutta ei pienen pienikään, reilut 400 karttalehteä joiden keskikoko lienee noin 15 megaa. Tein jo valmiiiksi karttapohjan, josta voi seurata keräilyn edistymistä
http://188.64.1.61/cgi-bin/mml_avoindata?mode=map&layers=rasteri_50t

Tuo 1:50t kartta on aika hauskan näköinen. Vastapainoksi verkkopalveluille ja laatoille olen vähän ajatellut, että kokoan tuon aineiston yhdeksi tiedostoksi johonkin sellaiseen muotoon, jota voi käyttää kivasti jollain avoimen lähdekoodin GIS-ohjelmalla. Luultavasti joudun tekemään sekä JPEG2000- että Rasterlite-versiot. Ja lisäksi superhelppoon WMS:ään täytyy tehdä tiffejä sellaisenaan hyödyntävä tileindex+mapfile -yhdistelmä. Tästä viimeisestä lienee OSM:ssa eniten hyötyä, sillä WMS:ää voi sitten käyttää suoraan OSM:ssa ja vielä mukavammin Merkaartorissa. Ja tileindex+mapfile toimiii myös posikin peruskarttarastereilla.

Maastotietokannan vektorit minä laittaisin varmaankin Spatialiteen. Jos tarkoituksena olisi saada nopein mahdollinen jakelu tehokäyttäjille niin sitten pitäisi värkätä PostgreSQL-dumppi, mutta se ei ole ollenkaan kätevä mihinkään muuhun käyttöön.

posiki · 2012-05-02T05:00:18.000Z

Net, jotka haluavat olla mukana jakamassa MML:n aineistoja Torrentin avulla: olkaa kuulolla OSM-FI IRC-kanavalla illalla ja/tai lukekaa tätä listaa.

Koetamme saada ensimmäiset aineistot jakeluun asap. Kun tuo MML:n palvelu tullee olemaan ylikuormassa joka tapauksessa.

posiki · 2012-05-02T16:59:42.000Z

Ei tullut aineistoja, joten torrentien rakentaminen myöhästyy 24 tuntia

JRA · 2012-05-04T14:47:38.000Z

Hauska seurata, että homma toimii käytännössä vielä paljon paremmin kuin etukäteen kuvittelin. Nyt 6,5 tuntia maastotietokantatorrentin valmistumisen jälkeen se on ladattu jo 20 kertaa ja yli 30 latausta on menossa. Latausvauhti on paljon parempi kuin kuvittelin, joukossa on ilmeisesti väkeä jolla on kaistanleveyttä ulos selvästi enemmän kuin se 1 Mb/sek, minkä mukaan tein alustavia laskelmia. Ja oman latauksensa valmiiksi saaneilla näyttää olevan myös hyvä moraali pysytellä mukana jakamassa.

Tehkäähän muistiinpanoja ensimmäisten päivien aktiivisuudesta, tuloksista saa varmasti aikaan esitelmiä ja postereita ja miksei myös kirjallistakin julkaistavaa muuallekin kuin OSM-wikiin. En usko että vastaavista kokeiluista löytyy paljon aikaisempia esimerkkejä muualta maailmasta. Esimerkiksi latausten yhteismäärä päivittäin klo 11 antaa hyvää tietoa minkä perusteella voi laskea, olisiko vastaava kuorma tukkinut MML:n linjat. Juuri tällä hetkellä näyttää karkean arvion mukaan siltä, että tarvittaisiin yli 100 megan linja voittamaan torrenttimme. Itse en ehkä pääse näkemään kuinka tämä etenee ennen kuin maanantaina. Silloin onkin ehkä uusi 30 gigan maastokarttapaketti latausvuorossa.

Gispon investointi aineiston hankintaan ja seedboxiin on säästänyt paljon aikaa ja vaivaa, ja vaikka nyt jääkin arvoitukseksi, olisiko näiden aineistojen keruu MML:n sovelluksesta onnistunut talkootyönä, niin eipä tuo jää pahasti harmittamaan.

posiki · 2012-05-04T17:33:25.000Z

Nyt tiedän miten tämä ihan oikeasti tehdään. Meni siis muutama päivä, oikeasti tuo vie muutaman tunnin, kun puristetaan aikataulua kuntoon…

Jos nyt enää tulee koskaan tarvetta

Kun tässä saan vielä muut tukevat materiaalit kuntoon, niin rupean sitten huutelemaan tuonne muuallekin ja lataajia tulee taas lisää…

jkp · 2012-05-05T12:45:16.000Z

Torrentithan näkyvät pyörivän mukavasti - maastokartta-aineisto jaossa taas n. 15 megatavua sekunnissa, ja n. 30 gigan peruskarttarasteri (josta en ole edes täällä nähnyt aiemmin mainintaa, linkki alla) liikkui hetki sitten vauhdilla 18 megatavua sekunnissa.

http://laillisettorrentit.net/index.php?page=torrent-details&id=c794441f6b410c76b3c9197a9f3ca683327557b2

jkp · 2012-05-05T21:11:04.000Z

Välillä oli torrent-clientin ilmoittama latausnopeus (siis kaikki lataukset yhteensä) peruskarttarasterille yli 80 megatavua sekunnissa. Kävi mielessä että joskohan kohta gigabitin rajaa alkaa siirto kolkutella kaikki MML-aineistot yhteenlaskettuna. Mutta ei aivan gigabittiin silloin ainakaan menty kun noita nopeuksia vilkuilin.

Kovasti kiitoksia torrentteja puuhanneille ja niitä rummuttaneille ja aineistoja jakoon pistäneille. Jos toiveita on sopivaa esittää jatkon järjestyksestä, niin tiestö osoitteilla koko maan osalta olisi sellainen aineisto joka olisi kiva saada - voisi vaikka testailla OSM-muotoon konversion jälkeen miten tuo pelailisi reitityksen kannalta.

posiki · 2012-05-06T04:45:13.000Z

jkp:

Kovasti kiitoksia torrentteja puuhanneille ja niitä rummuttaneille ja aineistoja jakoon pistäneille. Jos toiveita on sopivaa esittää jatkon järjestyksestä, niin tiestö osoitteilla koko maan osalta olisi sellainen aineisto joka olisi kiva saada - voisi vaikka testailla OSM-muotoon konversion jälkeen miten tuo pelailisi reitityksen kannalta.

Tiestö osoittella -aineisto myös ladattavissa. Täällä selityksiäni: http://paikkatieto.com/2012/05/05/maanmittauslaitoksen-aineistot-torrent-palvelusta/

jkp · 2012-05-06T07:31:50.000Z

Hieno juttu, eli minulla olikin tämä jo - huolimattomasti katselin peruskarttarasteriaineistoa, ja päädyin virhekäsitykseen että siinä olisi ollut vain U:lla alkavat karttalehdet (vrt. http://188.64.1.61/cgi-bin/mml_avoindata?mode=map&layers=rasteri_50t ) ja luulin että tässä samoin, mutta tosiaan väärin katsoin, kyllähän molemmissa on koko Suomi. Ja tiestö avautuu myös näiden seutujen osalta.

viljoviitanen · 2012-05-07T07:32:10.000Z

Eikös tässä nyt heti rikota lisenssiä? Heti ensimmäinen kohta velvollisuuksista ja vastuista sanoo:

mainittava Lisenssinantajan nimi, aineiston nimi ja ajankohta, jolloin Maanmittauslaitos on luovuttanut aineiston (esimerkiksi: sisältää Maanmittauslaitoksen Maastotietokannan 06/2012 aineistoa)

ajankohta aineiston luovuttamisesta puuttuu. Tietenkin sen voi NYT päätellä, että kyseessä on toukokuu 2012, mutta lisenssin mukaan se on silti erikseen kerrottava.

jkp · 2012-05-07T08:38:08.000Z

Kyllä ainakin minulla noissa vektorikartta-aineistossa ja tiesto nimistöllä -aineistossa on irrotuspäivä:

“Aineisto on irroitettu Maanmittauslaitoksen tietokannasta 2.5.2012.”

posiki · 2012-05-07T09:16:47.000Z

viljoviitanen:

Eikös tässä nyt heti rikota lisenssiä? Heti ensimmäinen kohta velvollisuuksista ja vastuista sanoo:

mainittava Lisenssinantajan nimi, aineiston nimi ja ajankohta, jolloin Maanmittauslaitos on luovuttanut aineiston (esimerkiksi: sisältää Maanmittauslaitoksen Maastotietokannan 06/2012 aineistoa)

Siis, että Torrent-jakelu rikkoisi nyt lisenssiä? Siellä kyllä mainitaan irroittamisajankohtaa.

Jos joku ottaa sieltä yhden tiedoston ja jakelee sitä eteenpäin, EIKÄ kerro lähdettä: mites tämä.

Kukas tuo hemmo tuolla kuvan taustalla on? Pitäisi käyttää vain omia kuvia

jkp · 2012-05-07T10:05:34.000Z

Näyttäisi että Gispon prosessoimissa / julkaisemissa aineistoissa kaikki on kunnossa, mutta jonkun muun julkaisemasta peruskarttarasterista näyttäisi puuttuvan tiedosto jossa kerrotaan irrotusajankohta, lisenssi kyllä on mukana.

viljoviitanen · 2012-05-07T10:07:27.000Z

jkp:

Kyllä ainakin minulla noissa vektorikartta-aineistossa ja tiesto nimistöllä -aineistossa on irrotuspäivä:

“Aineisto on irroitettu Maanmittauslaitoksen tietokannasta 2.5.2012.”

Ok, hyvä että asia on kunnossa, en katsonut itse aineistoa suoraan, kun en osaa.