Instance Panoramax Nederland?

AceT · 2024-07-12T13:51:53.326Z

Ik heb “hier en daar even mijn licht opgestoken” en “panaoramax.fr” wil met alle plezier ondersteunen om de Nederlandse instance operationeel te krijgen.

Dat zou op een virtuele server kunnen zoals ik die nu ook zakelijk gebruik voor de IT diensten die mijn bedrijf levert.

Disk space
Echter wanneer we dit serieus aan willen pakken dan is dat “leuk om snel te beginnen” maar dramatisch (duur) om op landelijke schaal in te gaan zetten.De grootste crux is disk-space.

Een klein rekensommetje:
Frankrijk heeft nu een 15 miljoen afbeeldingen in hun systeem zitten welke een 45Tb aan dataopslag vragen (dus een 3Tb per miljoen afbeeldingen). Wanneer je naar hun kaart-dekking kijkt is dat een fractie van wat ze kunnen gaan verwachten. Wanneer ik (ter indicatie) kijk naar het materiaal wat Amsterdam bij Mapillary heeft ge-upload dan zijn dat een miljoen afbeeldingen. Dus dat is meteen grofweg 3Tb aan data.

Voor een (ander) project ben ik met S3 bezig (niet bij AWS zelf, e.a. in het kader van GDPR/AVG). Dat is “in de cloud” bij mijn weten de goedkoopste manier om data online te hebben. Maar is nog steeds een forse structurele kostenpost. De Fransen hebben gekozen voor tweedehands HDD (hard disks) op colocatie (een aantal U’s in een rack).

Wanneer we dit serieus duurzaam aan willen vliegen is dat “the way to go” denk ik. Ik huur al meer dan tien jaar geen rackspace meer (alles bij ons zijn nu ‘virtuele machines’). Dus ik heb daar ook geen ingangen meer voor vrees ik…

Bij professionele aanpak moeten we ook backup gaan realiseren. Nu wil op dit punt “ons geluk” dat we voor mijn bedrijf recentelijk de backup-infrastructuur “hebben opgeleukt”, daarin zit voor de korte termijn zowiezo wel ruimte voor een 10Tb aan data. Dat zal om op te starten wel voldoende zijn en geeft ons de ruimte om de focus te leggen bij de “basis realisatie”.

Kortom:
De eerste stap die gezet moet worden is denk ik: waar
Van wat ik heb begrepen is dat OSM ook “echt rackspace” gebruikt. Zouden we daar voor Panoramax ook gebruik van kunnen maken van een “paar U”? Of zijn er contacten bij OSM om “aan te haken” bij en server-locatie van een (semi) overheidinstelling?

Heel graag jullie input!

whb · 2024-07-12T20:32:52.693Z

Perhaps an AWS sponsorship would be helpful in some way. OSM makes use of it:

Why does OSMF Budget €25,000 on Amazon Foundation

OpenStreetMap Ops team AWS usage. AWS EC2 - virtual machines: OSM tile render server (USA) - $3500/month (including data transfer which is ~50% of cost) palulukon.openstreetmap.org Fully sponsored, no cost to OSM. Would find alternative if not sponsored. EC2 On-Demand, potential to optimise using Spot Instances, but significant ops investment required. AWS S3 - object storage: Summary: 272TB used. Growth of 3% per month. Quoted amount include data transfer, API usage and storage costs. o…

OttoR · 2024-07-13T10:20:34.734Z

Ik zou vooral niet het wiel opnieuw uitvinden.
De gemeente Amsterdam heeft een eigen dienst voor zeven jaargangen en 2023 & 2024 komen eraan. Ze zijn in transitie omdat ze de beelden sneller publiek beschikbaar willen stellen.

Hoe doen zij dit? En welke kosten/funding zit hier achter.
En gaat straks elke gemeente dit voor zichzelf organiseren ‘ieder voor zich’?

Of is het logischer dat dit op een gegeven moment wordt gecombineerd onder één landelijke vlag? Bijvoorbeeld via PDOK? Dan kan je al die funding combineren en zorg je ook voor continuiteit en dezelfde data kwaliteit.

AceT · 2024-07-14T19:26:07.477Z

Ik zou vooral niet het wiel opnieuw uitvinden.

Absoluut, daarom ben ik ook zo enthousiast over Panoramax!

En gaat straks elke gemeente dit voor zichzelf organiseren ‘ieder voor zich’?

Horror…

Of is het logischer dat dit op een gegeven moment wordt gecombineerd onder één landelijke vlag?

Panoramax!

Dan kan je al die funding combineren en zorg je ook voor continuiteit en dezelfde data kwaliteit.

Precies!!

OttoR · 2024-07-14T20:09:26.511Z

Maar waarom dan niet gewoon een landelijk platform gebruiken? Zoals PDOK?

AceT · 2024-07-14T20:21:17.014Z

Dat zou ook een vraag aan “Amsterdam” kunnen zijn. Maar ik verwacht dat zij niet in staat zijn om deze data te verwerken/herbergen?

Of heb je een link voor me?

OttoR · 2024-07-14T20:24:49.832Z

ik weet niet goed wat je bedoelt; maar je kunt alle data van de gemeente Amsterdam vinden via: https://data.amsterdam.nl/

Via de link Kaartlagen kan je dan allerlei datasets op de kaart terug vinden, waaronder de panoramabeelden die de gemeente publiceert.

AceT · 2024-07-14T20:41:28.026Z

Volkomen helder & bekend.

Maar ik bedoel dat Amsterdam een eigen systeem ontwikkelt heeft / aan het ontwikkelen is.

Dat geeft mij de indruk dat deze data niet onder te brengen is in PDOK.

Deze en dergelijke data zou veel beter tot zijn recht komen in een landelijk platform. Als PDOK dit al kan dan “zijn we meteen klaar” en zou ik graag een link ontvangen om er mee aan de slag te gaan.

Maar ik vermoed sterk dat dat niet het geval is (dan had ik dat toch wel geweten denk ik?) In Frankrijk zijn ze hier druk mee bezig, en daar zouden we prachtig op “aan kunnen haken” naar mijn idee! Het zou zo jammer zijn, wanneer Amsterdam hier nog bakken energie in stopt voor “alleen Amsterdam”. Naar mijn smaak zouden zij voor “de extra’s” die nu in hun systeem zit prima kunnen gebruiken. Maar de basis van wat Panoramax kan gebruiken als “plug-in”. Grote voordeel wordt dan dat je een centrale plek hebt voor deze basis-data en die dan via API’s etc naar eigen believen kunt in gaan zetten (net als met OSM kan en doet voor kaarten!)

OttoR · 2024-07-14T21:27:37.405Z

Eens; en toch heeft elke gemeente zijn eigen GIS systeem en gebruiken ze niet OSM als kaart

Dus ik vrees dat het nog wel eens lastig gaat worden om al die gemeentelijk initiatieven te bundelen.

Mijn vraag is mee of dat een initiatief als Panoramax uit de OSM community voort moet komen, of dat dit eigenlijk iets is waar bijvoorbeeld PDOK als organisatie dit moet doen. En of ze dan Panoramax gebruiken, danwel het platform van Amsterdam promoveren tot landelijke standaard, is dan aan PDOK.

Thibaultmol · 2024-07-16T09:00:22.660Z

Misschien even nuttig om in te pikken:
Ik ben bezig (al een tijdje, heb weinig tijd gehad tot nu toe) om een Belgische Panoramax instance te maken.

(idee zal zijn om de software/DB te draaien in de cloud en dan de effectieve storage op eigen servers (ideal op twee locaties). Want de storage is het duurste component van een panoramax server te hosten).

Misschien is er een idee om een samenwerking te doen waarmee we een Panoramax BeNe(Lux?) oprichten?

Peter_Elderson · 2024-07-16T09:34:29.256Z

Thibaultmol:

eigen servers

Die zijn in NL volgens mij niet erg ruim voorhanden. Het gaat om waanzinnig veel data, dus het is geen klein bier. Zijn er in België betere mogelijkheden?

Thibaultmol · 2024-07-16T09:50:01.818Z

Het klinkt misschien wat amateuristisch maar idee is om een storage server te hebben bij een hackerspace waar ze snel internet hebben en dan een andere storage server bij mij thuis (heb 2 verschillende internet connecties waarvan 1 nog een 4g backup heeft (unlimited)).

De OSM FR Panoramax instance draait ook maar gewoon op een server die ze zelf beheren (deels in een datacenter ergens en deels bij hen thuis) Current server infrastrcuture Panoramax - Panoramax : photo-cartographions les territoires - Forum GéoCommuns

OttoR · 2024-07-16T21:09:31.782Z

Ga vooral jullie gang hoor; maar ik zou vooral proberen om dit óf onderdeel te laten zijn van OSM óf omeen overheidsdienst hiervoor op te laten draaien

Peter_Elderson · 2024-07-16T21:27:09.794Z

Een overheidsdienst laat zich niet voor een OSM-karretje spannen.

AceT · 2024-07-16T22:40:32.004Z

OSM kan zelfstandig worden gebruikt en met dan aan de open structuur kan het ook op de meest uiteenlopende manieren worden ingezet als als bouwblok.

Panoramax kan op precies dezelfde manier worden ingezet, als zelfstandige tool én als ‘bouwblok’.

Dus ‘Amsterdam’ kan het als bouwblok gebruiken, net als andere gemeenten. Naar mij idee zijn de potentiële voordelen van dergelijke data centraliseren evident!

Data
Dat is de de grote crux. Om op te starten moeten denk ik beginnen met een 10Tb aan online data-ruimte om mee te beginnen, met als het enigszins kan anticiperen op snel opschalen, liefst enkele factoren, 2 tot 10.

Samenwerking: panoramax BeNeLux
Een dynamisch trio welke binnen Europa al vaker als voorbeeld heeft gediend! Samen sterk, dus is dat een optie die zinvol zou kunnen zijn.
‘Jullie’ zijn in België al wat langer hiermee bezig toch? Wat is jullie status? Hoeveel data schatten jullie initieel nodig te hebben?
Is er in België rackspace beschikbaar voor dit project?
Er lopen nu op verschillende fronten enkele initiatieven/insteken om een inventarisatie te maken. Ik durf op dit moment niet te zeggen in hoeverre mogelijke fondsen/stakeholders samenwerking over de grens als nadeel zien (of mss juist als voordeel).

Hackerspace
Wel eens van gehoord, maar ik vraag me af hoe professioneel daar voor huisvesting voor dit project kan worden gezorgd?
Mijn sterke voorkeur gaat uit naar een zo ‘profi mogelijke’ start

Backup
Zoals eerder aangegeven heb ik ‘voor eerst wel een 10Tb’ beschikbaar, daar ligt niet de urgentie

Peter_Elderson · 2024-07-17T08:12:59.542Z

Tweede gedachte:
Een crowdsourced database van straatbeelden kan voor een overheid heel interessant zijn, mits er aan een aantal voorwaarden voldaan kan worden. Het gaat dan om kwaliteit, aktualiteit, bescherming tegen misbruik, bescherming tegen vandalisme, privacygarantie, maar ook bruikbaarheid. Dan kunnen overheidsdiensten er nuttige gebruiksdoelen op bouwen en er zelf aan bijdragen, wat de kosten kan rechtvaardigen.

PDOK, in mijn beleving, is voor ons eenrichtingsverkeer, nl overheidsgegevens centraal verzamelen en ter beschikking stellen, in de eerste plaats voor instanties, en (onder voorwaarden) ook voor publiek.

OttoR · 2024-07-17T17:10:29.233Z

Wat ik meer bedoel te zeggen is dat de overheid hier zowel de middelen voor heeft als de noodzaak. Zie ook de motivatie van Amsterdam om deze beelde zelf te creëeren in plaats van afhankelijk te zijn van een derde partij.

De beelden gebruiken ze in eerste instantie voor handhaving en onderhoudsplanning.

AceT · 2024-07-17T20:40:24.426Z

… en wanneer ze (en anderen!) dat beeldmateriaal nu onderbrengen in een opensource platform als Panoramax en de kosten die ze maken investeren in Panoramax dan kunnen zij die data gebruiken en (veel meer!) anderen.

Op de korte termijn verwacht ik geen/minimale kostenstijging. En bij participatie van “die anderen” zie ik een klassieke win-win-situatie groeien! Een basis vulling op basis van beeldmateriaal betaald door (semi) overheid en op termijn zou het zomaar zo kunnen zijn dat een deel van die kosten uitgespaard kunnen worden omdat een deel van de vraag wordt voldaan doordat vrijwilligers voldoende beeldmateriaal toevoegen aan het platform!

Daarbij, de basis van de data “van Amsterdam” is betaald met publieke gelden, dus wanneer die data ook “wordt gegeven áán het publiek” (lees open source) dan voelt (met het eerder genoemde) het geheel toch als een “match made in heaven” ?

CasGroenigen · 2024-07-18T07:30:32.434Z

Misschien een vraag ongerelateerd aan de huidige discussie. Maar als we een Nederlandse Panoramax instance hebben, zou het dan ook mogelijk zijn om foto’s die ik al op Mapillary heb geupload ook daarnaartoe over te brengen?

Anders zou het misschien handig zijn om te kijken of ik voor nu de foto’s die ik maak ergens kan opslaan totdat de Panoramax instance online staat.

Peter_Elderson · 2024-07-18T07:34:34.656Z

Mijn Mapillary foto’s zouden naar de Franse Panoramax gekopieerd worden, had ik me ongeveer als eerste voor opgegeven, maar dat is nooit gebeurd. Maar dat moet dus wel kunnen.