IBM werkt samen met de Europese Ruimtevaartorganisatie (ESA) aan de ontwikkeling van een AI-systeem dat in real-time toezicht houdt op klimaatverandering en andere wereldwijde uitdagingen, zoals waterschaarste, met behulp van satellietgegevens.
Volgens IBM is het nieuwe systeem, TerraMind genaamd, het meest geavanceerde model voor aardobservatie ooit. IBM trainde het open-sourcemodel met behulp van TerraMesh. Dit is de grootste set vrij toegankelijke georuimtelijke gegevens.
IBM meldt dat TerraMind een multimodaal model is dat een vernieuwende encoder-decoderarchitectuur gebruikt, gebaseerd op symmetrische transformers. Het model kan omgaan met invoer op basis van pixels, tokens en sequenties. Het is in staat correlaties tussen verschillende gegevensvormen te leren. Hoewel het getraind is op meer dan 500 miljard tokens aan gegevens, is het relatief klein en licht van gewicht. Het verbruikt ongeveer tien keer minder rekenkracht per modaliteit dan bestaande modellen. Dit maakt het mogelijk om TerraMind tegen aanzienlijk lagere kosten op te schalen.
Breed scala aan factoren
Volgens IBM zijn de multimodale capaciteiten van TerraMind essentieel voor aardobservatietaken. Dit, omdat er bij het beoordelen van de impact van klimaatverandering met veel factoren rekening moet worden gehouden.
Zo moet men bij het voorspellen van het risico op waterschaarste factoren als klimaat, temperatuur, neerslag en landbouwactiviteiten meenemen. Voorheen gebruikten onderzoekers verschillende modellen om elk van deze factoren afzonderlijk te bestuderen. TerraMind brengt al deze informatie samen in één model. Zo ontstaat een vollediger beeld van wat er op een bepaalde locatie gebeurt.
Juan Bernabé-Moreno, directeur van IBM Research UK en Ierland, stelt dat TerraMind zich onderscheidt doordat het verder gaat dan alleen het verwerken van aardobservaties met computer vision-algoritmen.
Minimale bias
Om de TerraMesh-dataset samen te stellen die aan de basis ligt van TerraMind, verzamelden IBM-onderzoekers gegevens over onder andere biomen, landgebruik, typen landbedekking en regio’s. Zo willen ze garanderen dat het model wereldwijd voorspellingen kan doen met minimale bias.
TerraMesh bevat meer dan negen miljoen wereldwijd verspreide en ruimtelijk-temporeel afgestemde gegevenssamples over negen kernmodaliteiten. Deze omvatten waarnemingen van ESA-satellieten, informatie over oppervlaktestructuren zoals vegetatie en landgebruik, en geometrische gegevens die locaties en kenmerken beschrijven, zoals breedte- en lengtegraad, hoogte en eenvoudige tekstbeschrijvingen van regio’s.
IBM stelt dat tests uitwijzen dat TerraMind het best presterende fundamentele model voor aardobservatie is dat ooit is gemaakt. De ESA leidde deze evaluaties, waarbij TerraMind werd vergeleken met twaalf andere modellen binnen zijn klasse op de PANGEA-benchmark. Dit is een standaard men gebruikt om AI-prestaties te meten op realistische taken. Denk aan classificatie van landbedekking, detectie van veranderingen, milieumonitoring en analyse over meerdere tijdspunten. Volgens de ESA presteerde TerraMind in alle PANGEA-tests minstens 8% beter dan de concurrerende modellen.
Model genereert zelf trainingsdata
TerraMind maakt ook gebruik van een nieuwe techniek genaamd Thinking-in-Modalities tuning, die vergelijkbaar is met de Chain-of-Thought-methode die wordt gebruikt bij redeneermodellen zoals GPT-4o van OpenAI en de R1 van DeepSeek. Deze aanpak, afgekort als TiM, houdt in dat het model zelfstandig synthetische trainingsdata genereert vanuit andere modaliteiten om zijn prestaties verder te verbeteren dan wat met gewone fine-tuning mogelijk zou zijn.
IBM liet weten dat TerraMind kan worden ingezet bij het oplossen van langdurige vraagstukken zoals rampenbeheer, milieumonitoring, precisielandbouw, stedelijke en regionale planning, monitoring van kritieke infrastructuur, bosbeheer en biodiversiteitsbewaking, evenals bij kortetermijnproblemen zoals het monitoren van bosbranden en overstromingen.