Maanmittauslaitoksen ilmaisten aineistojen hyödyntäminen

Virallisen tahon eli MML:n mukaan mitään ongelmaa ei olemassakaan (kts. http://forum.openstreetmap.org/viewtopic.php?pid=356296#p356296). Vuoden olen tässä itse odotellut, että jotain alkaisi tapahtua. En tiedä miksei mitään tapahdu.

Kai siinä manuaalistakin työtä vaaditaan, mutta kyllä, maastotietokannassa on about kaikki tieto joten sieltä löytyy.

Ihan aiheellinen nosto ja itse olen tätä myös miettinyt, eikä tästä syystä enää viime aikoina ole tullut rakennuksia, peltoja tai vesistöjä juurikaan ilmakuvista piirreltyä.

Oma kartoitukseni onkin tästä syystä viimeisen puolen vuoden aikana painottunut lähinnä tuttujen haja-asutusalueiden tieverkon täydentämiseen ij_:n mainiota importointityökalua käyttämällä. Importointiprosessi vaatii suht paljon manuaalista työtä tuotujen verkkojen yhdistämisessä olemassa olevaan OSM-dataan ja ainakin itse koen erittäin hyväksi sen, että samalla tulee korjattua paljon OSM:ssä olemassa olevan tiestön sijainteja ja ominaisuuksia. Usein lyhyeksi tarkoittamani importointisessio venyy, kun lopulta innostun kartoittamaan tarkemmin alueen tiestöä ja maankäyttöä ilmakuvista, jolloin lopputuloksena on usein tarkempi kartta kuin pelkästään importoitu tai pelkästään käsin luotu. Ennestään kartoittamattomalle alueelle MML:stä tuomani tieverkko toimii ikään kuin pohjana kun täydennän aluetta tuontivaiheen jälkeen.

Olisiko oikeasti viimein syytä aloittaa keskustelu, jotta muitakin kohteita (nimistöä, rakennuksia, vesistöjä, maankäyttöä…?) voitaisiin alkaa tuomaan OSM:ään? Käsitykseni mukaan kartoittajat mielellään käsittelevät tuttuja seutuja ja itselläni ainakin alkaa olla tilanne, jossa omat “kotiseudut” alkaa olla tuotuna tiestön osalta, eikä edellämainituista syistä johtuen kovin suurta motivaatiota maankäytön tai rakennusten käsintäydentämiseen ole, joten ihan mielelläni ottaisin osaa myös muiden kohteiden tuomiseen näillä alueilla. Tietääkseni esimerkiksi rakennusten tai nimistön tuominen MML:n aineistosta alueittain ei pitäisi olla järin suuri toimenpide ihan omalla tietokoneella ajettavilla ohjelmistoilla, mikäli vain tietää mitä tekee.

Mutta minä ainakaan en näe että mikään käsin kartoittaminen olisi turhaa, vaikka olisi olemassa tuotavissakin olevaa valmista materiaalia, sillä itse ainakin pyrin käsin kartoittaessa tuomaan OSM:ään jotain lisäarvoa paikallistuntemukseen perustuen.

Juuri tuo paikallistuntemus ja tarkemmat detailit ovat sitä “tähdellisempää” johon viittasin. Täällä kuitenkin on tilanne että lähes 100% taloista ja rakennuksista puuttuu, ja esim. talonumeroiden syöttö on käsipelissä aika tahkeaa hommaa, kun taas koneellisesti ne tulevat hetkessä ja kerralla oikein.

Sama homma noiden pelto- ja metsäalueiden kanssa. Vaikka olisi millainen paikallistuntemus niin metsä on metsä, ei se landuse-tagin laitto paljon muuksi muutu tunsi alueen miten hyvin tahansa.

Toki tuo koneellinen data on syytä käydä käsipelissä ainakin joltain osin läpi, mutta IMHO nuo perus karttadatojen syöttö käsin on vähän joutavaa hommaa kun käytettävissä on massiiviset määrät dataa “vain” tietokantakonversion päässä.

Toivottavasti niitä saa tehdä, koska statistiikkasivun mukaan niitä on tehty jo useita tuhansia (6668kpl 28.7.2014). Validoituja on yli kymmenentuhatta mutta niihin taitaa lukeutua myös ne alueet joita on piirrelty suoraan ilmakuvista tai omien jälkien kanssa.

Ymmärtäkseni useaan otteeseen monet ovat todenneet, että suoraa importtia MML:n tai Digiroadin materiaalista ei tulla tekemään, koska aineistojen yhteensovittaminen ei tulisi oikeasti onnistumaan. Jos siis jätetään pois se vaihtoehto, että joku deletoi Suomen OSM:sta ja siirtää jomman kumman Wirallisen kartan tilalle. Suoran importin hankaluuden huomaa kun katsoo esim jotain Landsat-kuvien kanssa piirrettyä aluetta ja sovittelee siihen MML:n ilmakuvia päälle. Tiellä ja alueilla saattaa olla muodot ihan OK mutta sijainti on enempi tai vähempi sivussa. Joku skriptaaja saattaisi saada tien siirrettyä oikeaan paikkaan mutta teiden välissä saattaa olla jotain residential-alueita ja osoite-tageja, joiden paikoilleensaanti ilman käsityötä lienee mahdotonta.

MML:n “Tiestö osoitteilla” (tms.) materiaalissa ainakin listataan vain ko kadun pätkän ensimmäinen ja viimeinen osoite kummallakin puolella tietä. Kaikkia välillä olevia osoitteita ei välttämättä ole oikeasti käytössä, joten tietoa ei voida suoraan interpoloida rakennuspolygoneille. Digiroadin tiedoissa on kuvauksen mukaan ihan sama “puute”.

Kaikille odottelijoille tiedoksi, että niitä saa tehdä, on saanut tehdä jo yli puoli vuotta (viime joulukuusta lähtien). Itse olenkin ihmetellyt hieman laimeata mielenkiintoa importtia kohtaan, nyt kun se lopultakin tuli “luvalliseksi” sekä MML:n että OSM:n byrokratian puolelta. Itse importille tein oma threadin, joka lienee mennyt osalta ohi: http://forum.openstreetmap.org/viewtopic.php?id=23578. Siellä sanotaan yhdessä kohtaa näin: “Please read the workflow documentation before starting! You may upload now but please follow the process as outlined in the document!” (sama lause suoraan task managerissa myös).

Suurin ongelma tällä hetkellä on kapsilla olevien MML ortokuva serverin peitto, joka taitaa edelleen olla huomattavasti pienempi kuin MML:llä oikeasti on kuvia. Viimeksi kun asiaa setvittiin, niin GDAL hajosi ilmeisimmin jossain kohtaa monien ortokuva tiedostojen käsittelyssä eikä sen takia uudempia/loppuosaa kuvista ole saatu ajettua tuotantoon.

Tosiaan tuo MTK:sta saatava lisäaineisto on OSMin päälle “silppua”, eli paljolti pieniä sivutie “verkkoja”, joita onkin sitten todella paljon. Isoja verkkoja on aika vähän vaikka niitäkin vielä taitaa muutama olla tekemättä (mutta siihen menee sit monta tuntia per iso verkko, joten ei kannata ainakaan sellaisesta aloittaa ;-)). OSM:sta vaan sattuu jo ennestään löytymään niin paljon jo tavaraa että ne todellakin olisi jouduttu “poistamaan”, minkä ehdottaminenkin taas imports@ listalle olisi saanut aika jäätävän vastaanoton. Eli sitä polkua ei olisi päästy kuitenkaan OSMin puolelta eteenpäin.

Itsellä on tällä hetkellä jo jotain systeemiä, joilla myös olemassaolevia teitä päästäisiin vihdoin korjaamaan MTK-avusteisesti task managerin kautta (sekä tiestön metatiedot että geometriat, jälkimmäinen JOSMin olemassaolevaa geometrian kopiointi pluginia hyödyntäen). Mutta projekti on valitettavasti tällä hetkellä hiukan jumissa, kun pitäisi yksi rekursiivinen query niidenkin korjattavien kohtien verkottamista varten kirjoittaa (joukko id:tä ja id:den vierus-id:t lähtökohtana). Mutta eihän sitä kesällä ehdi tuollaisia edes tekemäänkään, kun pitää polkuja kiertää ja nyt on vielä keskittymistä häiritsevä lämpöastelukemakin taulussa ;-).

Avainsana: Väestörekisterikeskus. Toivottavasti avaavat osoiteaineistonsa piakkoin. Sitä odotellessa en jaksa MTK/Digiroadia edes miettiä vakavasti otettavana sourcena juuri tuon puutteellisuuden takia.


i.

Näin sen on tarkoituskin mennä. Samalla kun importoidaan, myös OSM:ssa olemassaolevat huonot geometriat ja älyttömyydet (landsat tai kerran 10sek gps jäljestä, tms.) saadaan pikku hiljaa lähestulkoon kokonaan pois. Siksi import-prosessi itsessään pitää jo sisällään sitä manuaalista työtäkin.

Toivottavasti joku nyt unelmoi siitä että nuo älyttömyydet voitaisiin korjata ihan täysautomaattisestikin, eikä pelkästään vaan unelmoi vaan myös toteuttaa sen automaatin, niin täältä tulee muutamakertaista hurraahuutoa ;-). Vakavasti ottaen, automaatilla tuo homma olisi älyttömän hankalaa, jos geometriat on OSM:ssa ihan kuraa ilman metadatoja (nimiä, refejä, tms.). Falsehittejä ja -missejä tulisi ihan liikaa, että sitä voisi oikeasti ilman ihmistä toteuttaa.

Keskustelua voidaan toki käydä, mutta ettehän sitten sulje silmiä siltä, että lopulta jonkunhan täytyy myös sitten tehdä asiaankuuluva suunnitelma ja vakuuttaa imports@ listan väki. En nyt kysy heti, että ilmoittauduitko juuri vapaaehtoiseksi (sitten kun se olisi ajankohtaista)… :wink: …mutta asiaan on hyvä jo lähtökohtaisesti koittaa asennoitua oikein, ettei kaikki keskusteluun panostettu energia valu lopulta hukkaan.

Minulla on noissa teissäkin ihan riittävästi hommaa toistaiseksi, tosin niihin kehiteltyjä (ja vielä työn alla olevia) juttuja saattaa joihinkin kohteisiin kuten vesistöihin ja rajoihin pystyä hyödyntämään.

Siispä polut kunnon gps:llä (ja kunnolla sijoiteltuna eikä taskussa tms), niitä kun ei löydy mistään pl. jotkus epätäydelliset suunnistuskartat (olen itseasiassa viime aikoina vahvasti pettynyt suunnistuskarttoihin niistä puuttuvien polkumäärien johdosta, kun tuli aloitettua pitkästä aikaa suunnistelukin, siksi että saisi polkuja OSMiin toki :-)) ja tietenkin myös liikennemerkit kartalle ;-). Ja puuttuu MTK:sta ihan siis ulkoiluteitäkin ja puistojen reittejä vino pino, jotain selkeimpiä puutteita mainitakseni.


i.

MTK on hyvä pohja (taikka se väestörekisterikeskuksen osoiteaineisto sitten kun se toivottavasti vapautuu joskus lähitulevaisuudessa), mutta ei kanna silti kuvitella että ne tulisivat “kerralla oikein”. Valitettavasti. Myös niistä aineistoista löytyy virheitä, aivan kuten OSM:stakin.

Sellainen kuriositeetti muuten, että MTK:ssa ei ole metsiä lainkaan, vaan “tyhjää” metsien kohdalla.

Tietokantakonversio on se helpoin vaihe. Suurin haaste on yhdistäminen olemassaolevaan. Silloinkin jos lähtökohdaksi otettaisiin alueet, joilla on vain tyhjä canvas, täytyisi jonkun ratkaista/selvittää kuinka nuo “tyhjä canvas” alueet määritellään/etsitään ja kuinka varmistetaan että import koskee vain niitä. Sen jälkeen kun tämä on ratkaistu, joku vaan kirjoittaa suunnitelman ja vakuuttaa imports@ listan. …Sitten vaan kädet likaisiksi.

MTK road importin kokemuksen perusteella koordinaatio tekijöiden välillä on aivan merkityksetön juttu. Luulin ensin että se olisi oleellinen osa ongelmaa, mutta tekijöitä on ollut liian vähän että overlappiä olisi oikeasti tapahtunut joten sitä tuskin tapahtuu muidenkaan objektien kohdalla kunhan palaset ovat suhteellisen järkevän kokoisia. Korjatkaa joku jos olen väärässä… itselläni ei ainakaan sattunut koskaan, että joku olisi tiestön naapuriverkkoa samaan aikaan importoinut?

Siitä olen samaa mieltä, että geometrioiden tracettaminen käsin silloin kun riittävän tarkat tracetukset OSM:in ulkopuolelta ovat saatavilla ja käytettävissä on täysin järjetöntä hommaa. Kannattaa kuitenkin muistaa että tracetuskin on voinut MML:llä tai heidän tietolähteellään mennä överiksi ja siksi esim. metsäteissä on joskus MTK:ssa ihan valtavasti nodeja (road importissa vedin nimettömistä teistä 40cm mutkat suoriksi ja nimetyistä 20cm suoriksi vähentääkseni älytöntä pistemäärää ja niistä aiheutuneita bogusmutkia). Samaten peltoja pystyy tracettamaan käsin tarkemmin kuin MML:llä on tehty, eli niin että ojat keskellä peltoa ovat poissa pellon alueesta (mutta minulle kyllä riittäisi alkuun ihan ne ojat mukanakin tarkkuus vs nykyinen tyhjä kartta :-)).


i.

Onko muuten VRK:n datan vapautumisesta ja sen aikataulusta annettu mitään konkreettista julkilausumaa tai lupausta? Pienellä googlailulla ei löytynyt mitään.

Silloin tällöin käy mielessä alkaa importoimaan MTK:n rakennusgeometriadataa OSM:iin. MTK:sta puuttuvat osoitetiedot olisi tietenkin kiva saada mukaan alusta lähtien. Tosin eipä niiden lisääminen jälkeenpäin paljon monimutkaisempaa olisi.

Aiheesta jotain: http://avoindata.net/171/mista-saa-osoitteiden-koordinaatit

Terve,

Tämä ei nyt varsinaisesti liity openstreetmappiin, mutta tähän Maanmittauslaitoksen aineistoon kuitenkin. Minulla on Garminin gpsmap 64s ja kovasti olisi tarvetta ilmakuville siihen. Nuo MML:n ilmakuvat vaan tuppaavat olemaan .jp2 -muodossa. Millähän tavoin tuon saisi juttelemaan Garminin kanssa? Niinhän tuo onnistuu, että muuntaa ensin .jp2 -tiedoston jpg:ksi, siitä google earthilla sitten asettelee käsin peittokuvaksi ja tallennus .kmz muodossa. Kyseinen viritys ohjeistetaan Garminin sivuilla. Tämä on vaan melko vaivalloista ja hidasta. Olisiko jotain oikotietä onneen? Ideaalitilanne olisi, jos löytyisi jokin ohjelma, jolla saisi käsiteltyä useita ruutuja kerralla ja lopputuloksen saisi muotoon, joka näkyisi Garminissa omana karttanaan. Tai vaihtoehtoisesti jos joku olisi jo MML:n aineistoista valmiit ilmakuvat Garminin kanssa yhteensopivaan muotoon väkästellyt, niin sekin kelpaa :smiley:

MML:n aineisto on (ollut) 16.1.2015 alkaen tarjolla CC BY 4.0 lisenssillä: http://www.maanmittauslaitos.fi/avoindata_lisenssi

Oletko yrittänyt GDAL/OGR:lla? Ainakin sitä voi skriptata ja siten automatisoida. Tukee JPEG2000 (.jp2) formaattia useiden eri ajureiden avulla.

Siis jotain tällaista?:
http://gis.stackexchange.com/questions/18280/batch-convert-geotiffs-to-kmz-files

Vaatii toki sen oikeat ajurit sisältävän Gdalin ja varmaan projektion säätöä, mutta tuosta lienee hyvä lähteä liikkeelle

Varmaankin jotain tuon tyylistä. GDAL/OGR kirjasto on erittäin monipuolinen, eikä aina helppokäyttöinen.
Ohjeita löydät Latuviitan sivuilta: http://www.latuviitta.org/, http://latuviitta.org/Ohjeet.php
Windows binäärit esim. http://download.gisinternals.com/release.php Siellä on useita versioita ja jostain syystä myös usealle MSVC versiolle.

Edit: ja löytyyhän ohjeita ihan tältä sivustoltakin: http://forum.openstreetmap.org/viewtopic.php?id=16663