DVPS: Basismodellen voor de AI van de toekomst

Status: Lopend Gezondheid Remote sensing Water

DVPS, een onderzoeksproject in het kader van Horizon Europe, ontwikkelt een open-source-toolkit om het ontwerp, de voortraining, de afstemming en de uitbreiding naar andere modaliteiten van multimodale basismodellen (MMFM’s) te stroomlijnen. De toolkit ondersteunt het hergebruik en de combinatie van voorgetrainde modellen, wat de ontwikkelingstijd en -kosten vermindert en de aanpasbaarheid tussen verschillende modaliteiten verbetert.

Betrouwbare multimodale basismodellen ontwikkelen in Europa

Het DVPS-project (“Diversis Viis, Plurima Solvens”, Latijn voor “Via diverse wegen los ik vele problemen op”) heeft tot doel de wetenschap en techniek van multimodale basismodellen te bevorderen, een baanbrekend gebied binnen het AI-onderzoek. Deze modellen kunnen generaliseren over een breed scala aan datamodaliteiten en toepassingsdomeinen.

Dit project speelt in op de groeiende behoefte aan schaalbare, betrouwbare en aanpasbare AI-systemen die de afhankelijkheid van domeinspecifieke modellen verminderen en tegelijkertijd de technologische autonomie van Europa versterken. Daarom ontwikkelt DVPS AutoDVPS, een open-sourceplatform dat het ontwerp, de voortraining, de afstemming en de uitbreiding van multimodale modellen automatiseert. Als aanvulling hierop levert het project DVPSBench op, een uitgebreide benchmarkingsuite die is ontworpen voor het beoordelen van de robuustheid, veiligheid, feitelijke nauwkeurigheid en multimodale prestaties.

Multidisciplinair consortium werkt aan uiteenlopende sectoren

Het consortium brengt 19 Europese partners samen (waaronder VITO, Translated, de Universiteit van Oxford, EPFL, ETH Zürich, FBK en AUMC) afkomstig uit de academische wereld, het bedrijfsleven en de gezondheidszorg. Hun werk omvat drie geplande toepassingsdomeinen: geo-intelligentie, cardiologie en taalcommunicatie, naast twee aanvullende ‘verrassingsdomeinen’ die worden geïntroduceerd om de generaliseerbaarheid van de ontwikkelde methoden te evalueren.

Op het gebied van gezondheidszorg en cardiologie onderzoekt DVPS federatieve, privacybeschermende multimodale modellen en tools voor het genereren van gestructureerde medische gegevens en het anonimiseren van klinische teksten. Op het gebied van geo-intelligentie richt het project zich op sensoronafhankelijke modellen die 2D- en 3D-teledetectie, GIS-bronnen (Geographic Information Systems) en multimodale voorspellingsmethoden integreren. Op het gebied van taalcommunicatie ontwikkelt het project gepersonaliseerde, meertalige multimodale modellen die in staat zijn tot redeneren, crossmodale interactie en aanpassing aan de gebruiker.

Open-sourcebronnen ter bevordering van AI-wetenschap

In lijn met haar inzet voor open wetenschap stelt DVPS alle tools, modellen, benchmarks en documentatie beschikbaar als open-source-bronnen. Al deze inspanningen samen vormen een solide wetenschappelijke en operationele basis voor het ontwikkelen, evalueren en implementeren van de volgende generatie Europese multimodale AI-systemen.

VITO’ rol (in DVPS): AI-innovatie stimuleren voor gezondheidszorg en geo-intelligentie

VITO is bij het DVPS-project betrokken op twee toepassingsgebieden: cardiologie en geo-intelligentie.

Cardiologie

VITO vervult in dit project een veelzijdige rol: ons onderzoekscentrum levert expertise aan die zich uitstrekt van betrouwbare generatieve AI en klinische communicatie met patiënten tot de omzetting van medische informatie in gestandaardiseerde gegevens.

Een belangrijke ambitie van het werk van VITO is de ontwikkeling van generatieve medische AI zonder hallucinaties, waarbij wordt gewaarborgd dat elke modeloutput – of het nu gaat om een klinische samenvatting, een patiëntenbrief of een interactieve uitleg – gebaseerd is op verifieerbaar medisch bewijs. Door het combineren van domeinspecifieke consistentiecontroles, hoogwaardige multimodale input en rigoureuze evaluatiemethoden, streeft VITO ernaar een nieuwe maatstaf te zetten voor veilige, betrouwbare en klinisch verantwoorde generatieve AI.

Tegelijkertijd leidt VITO binnen het project de use case voor de vertaling van meertalige patiëntenbrieven en conversatie-interacties. Deze use case fungeert als een toegepaste omgeving waarin deze betrouwbare generatieve mogelijkheden worden ingezet. Dit werk verbetert de duidelijkheid, toegankelijkheid en nauwkeurigheid van medische communicatie over taalgrenzen heen, en dient tegelijkertijd als een praktisch testterrein om te waarborgen dat generatieve systemen feitelijk, contextbewust en afgestemd blijven op klinische werkprocessen. Via deze use case laat VITO zien hoe geavanceerde multimodale modellen zorgverleners op zinvolle wijze kunnen ondersteunen bij het verstrekken van informatie aan patiënten op een veilige en cultuurgevoelige manier.

Als aanvulling op deze inspanningen zet VITO zich intensief in voor het ontwikkelen van tools om medische gegevens om te zetten in goed gestructureerde gegevens die voldoen aan internationale standaarden zoals FHIR, SNOMED CT en OMOP. Deze capaciteit is essentieel voor het mogelijk maken van betrouwbare generatieve AI, aangezien gestructureerde gegevens met een hoge integriteit de basis vormen voor veilige verdere redeneringen, controleerbaarheid en acceptatie door regelgevende instanties. Deze inspanningen op het gebied van toolontwikkeling versterken het bredere DVPS-ecosysteem door bij te dragen aan interoperabele, transparante en herbruikbare componenten die zowel klinisch onderzoek als toepassingen in de praktijk ondersteunen.

Samen onderstrepen deze drie pijlers (hallucinatievrije generatieve medische AI, meertalige klinische communicatie en robuuste structurering van klinische gegevens) het engagement van VITO om de veiligheid, bruikbaarheid en naleving van regelgeving van de volgende generatie medische AI-systemen te verbeteren. Lees meer over het werk van VITO op het gebied van regelgevingswetenschap in de gezondheidszorg en de talrijke onderzoeksprojecten waarmee wij hieraan bijdragen.

Geo-intelligentie

VITO is ook actief binnen het toepassingsdomein geo-intelligentie: naast onze coördinerende rol draagt VITO een use case bij op het gebied van overstromingsbeheer om de toepasbaarheid van DVPS-technologieën in de context van klimaatadaptatie en veerkracht te beoordelen. Deze use case richt zich op maatschappelijk relevante uitdagingen, met name de behoefte aan tijdige en betrouwbare informatie tijdens overstromingen die zich snel ontwikkelen. Door zich te richten op zowel tactische als strategische besluitvormingsniveaus, pakt het initiatief tekortkomingen aan in de manier waarop heterogene en onvolledige gegevensbronnen momenteel worden benut in crisissituaties.

Een belangrijke innovatie ligt in de ontwikkeling van tools die in staat zijn om gedeeltelijke en voortdurend veranderende teledetectiegegevens te verwerken, waaronder satelliet-, drone- en crowdsourcedata. VITO ontwikkelt technieken voor verdere verwerking door gebruik te maken van de multimodaliteit van de beschikbare gegevens. Bijvoorbeeld door het samenvoegen van optische satellietbeelden en beelden van synthetische apertuurradar (SAR), of van drone- en vectorgegevens, om de betrouwbaarheid van de detectie van de omvang van overstromingen en de inschatting van schade onder wisselende omstandigheden te verbeteren. Deze fusie van gegevens uit meerdere bronnen verhoogt de robuustheid in vergelijking met benaderingen die op één modaliteit zijn gebaseerd en ondersteunt een nauwkeuriger situationeel bewustzijn tijdens kritieke responsfasen.

Tegelijkertijd onderzoekt VITO de integratie van grote taalmodellen (LLM’s) met basismodellen voor geo-intelligentie, waardoor geavanceerde redeneringen mogelijk worden. Deze aanpak maakt een meer contextbewuste analyse en interpretatie van geospatiale gegevens mogelijk. Daarnaast onderzoeken we hoe deze mogelijkheden kunnen worden geïntegreerd in agentgebaseerde workflows die gebruikmaken van GIS- en vectorgegevens. Hiermee willen we interactievere en uitgebreidere beslissingsondersteunende systemen creëren voor hulpverleners en beleidsmakers. Deze innovaties dragen bij aan meer adaptieve, datagestuurde strategieën voor overstromings- en crisisbeheer.