BAG update: hoe doen jullie dat?

Ik was met Sander H over en weer aan het mailen, omdat ik mij afvroeg hoe hij dit doet:

(Post #13 in https://forum.openstreetmap.org/viewtopic.php?id=55541))

Hij heeft dus een Ubuntu server waar hij de volledige Nederlandse OSM data op heeft staan, deze wordt automatisch geüpdatet via osm2pgsql en Osmosis. Ook de BAG gegevens worden ingelezen met NLExtract, deze staan ook op zijn server, handmatig bijwerken is hier wel nodig.
(Klinkt nu alsof ik er veel vanaf weet, dat is niet zo. Dit is meer een heel korte samenvatting van de mail van Sander H)

Via via kan JOSM bij beide databases komen. Omdat je de NL OSM database dus op je eigen server hebt staan kan je ermee doen wat je wilt, dus zulke lijstjes maken is volgens mij vrij makkelijk als je handig bent met scriptjes: https://duinoord.home.xs4all.nl/OSM/NL_building.html

Ik vond het wel interessant om te lezen wat je je allemaal met de OSM data kan doen als je het op een server hebt staan. Zelf heb ik geen ervaring met servers, laat staan met BAG updates.

Maar ja, nu dat vraag: hoe werken jullie met de BAG data? Hebben jullie bijvoorbeeld ook een server in huis staan?
Sander zei ook dat de drempel om een BAG updateraar (nieuw woord? :wink: ) te worden vrij hoog is, omdat je je dus even goed moet verdiepen in de materie en zelf moet uitzoeken wat voor jouw het beste werkt, zie dit topic dus ook als een soort handleiding/uitleg hoe het in zijn werk gaat (hoewel ik denk dat de wiki daar toch beter voor is). Een nauwkeurige gebruiksaanwijzing staat hier niet volgens mij (mogelijk zie ik iets over het hoofd), misschien kunnen we er eentje maken als we in dit topic uit zijn gediscussieerd. Tegen die tijd hoop ik dat ik dit topic heb doorgelezen, misschien dat ik daar wat wijzer van word…

Ik heb op mijn Windows 10 laptop een postgresql/postgis database geinstalleerd. De data (BAG, OSM-NL, BGT, TOP10NL) haal ik op bij NL-extract. Daar staan complete database dumps die je kunt restoren waardoor je in 1 klap de hele dataset (inclusief views) lokaal beschikbaar hebt.

Hierop kun je dan sql -queries draaien om de informatie te vinden die je zoekt.
Ik heb ook nog qgis ( GIS applicatie) geïnstalleerd waardoor ik de data in die database kan visualieren. Qgis kan nl prima moet de postgis data overweg.

Voor snel inzicht in de data (statistieken en fouten) gebruik ik Power BI desktop. Die applicatie kan met heel veel databronnen overweg waaronder postgresql. Middels een query laad ik dan data in power BI om er vervolgens analyses op te maken. ER kan zelfs (beperkt) data geplot worden op een landkaart.

In dit filmpje (zet de resolutie in youtube hoger indien nodig) krijg je daar een beeld van en zie je hoe eenvoudig het is om zo’n lijstje je maken met de aantallen van de type building.
Het voordeel van het gebruik van de NL-extract database dumps is dat je niet zelf aan de slag hoeft met osm2pgsql. Nadeel is dat de databases maar 1 x per maand/paar maanden wordt ververst. Een ander mogelijk nadeel is dat net die OSM-key die je had willen zien niet is meegenomen in de database. Er zitten momenteel wel heel veel keys in (zie filmpje) dus het meest interessante is wel gecoverd.

Omdat ik meer geïnteresseerd ben in de “highway” heb ik die eens in powerBI geladen. Ik heb daarbij ook een aantal hyperlinks gemaakt zodat je vanuit PowerBI snel de data kunt zien in JOSM, Overpass-turbo, OSM.org en mapillary.
Hier een voorbeeld van wat je dan kunt als je die 1.7 miljoen “highways” geladen hebt in PowerBI.

In dit filmpjelaat ik nog een voorbeeld zie hoe je zelf een rapport/overzicht kunt maken.
Voor mensen die PowerBI hebbben geinstalleerd is het wellicht leuk om eens aan de slag te gaan met die OSM-NL Highways. Daarvoor heb ik hier een Power BI bestand staan (OSM afslag juni 2017 180 MB) .

Het mooie van dit alles is dat het open data is met gratis software. Het stelt echter wel wat eisen aan de hardware. Dat dan weer wel.

De database dumps van data.nlextract.nl zijn voornamelijk relevant voor de NL open data (BAG/TOP10NL/BGT/etc).

Voor de OSM data kan je beter de country extract van download.geofabrik.de gebruiken en deze inladen met osmosis, dan beschik je over alle tags.