AI-verktyg hjälper användare med synförlust att bättre komma ihåg miljöer

AI-systemet VIPTour är inställt på att avsevärt förbättra hur människor med blindhet eller nedsatt syn (BLV) upptäcker nya miljöer.

Ett forskarteam utvecklade VIPTour som ett system som låter användare upptäcka parker och turistattraktioner på egen hand, vilket i sin tur förhöjer deras nöje och förståelse för platserna. Deras resultat publicerades i Nature.

Systemet integrerar en kompakt kamera med en smartphone-applikation som kör en AI-algoritm känd som FocusFormer. FocusFormer bearbetar scener i realtid, för att identifiera viktiga punkter såsom säkerhetsmarkörer.

Systemet ger rekommendationer för utforskning, vilka anpassar sig till individuella användarpreferenser, såsom att välja naturljud över historisk information.

Forskarna hävdar att BLV-gemenskapen kan dra nytta av VIPTour genom skräddarsydd vägledning baserad på användarintressen, förenklad ljudbeskrivning, taktila beskrivningar av komplexa scener samt möjligheter att spela upp och dela rundturer. Systemet är utformat för att erbjuda funktioner som syftar till att förbättra användarupplevelser utöver grundläggande assistans.

I tester med mer än 30 BLV-deltagare var fördelarna slående. Emotionellt välbefinnande förbättrades dramatiskt, med en ökning av positiva känslor med 67,9% och en uppgång i spänning med 94,7%. Användarna visade även en förbättring på 772,73% när det gällde att återkalla scener, och långtidsminnesbehållningen fördubblades.

Många rapporterade att de kände sig mer självständiga, mindre beroende av andra för att navigera eller förstå sin omgivning. Forskarna noterar hur miljontals BLV-individer utesluts från fritidsaktiviteter på grund av otillgängliga miljöer, noterade forskarteamet.

Medan befintliga verktyg hjälper människor att ta sig från en plats till en annan, misslyckas de ofta med att skapa njutbara, minnesvärda upplevelser. VIPTour försöker fylla denna lucka genom att kombinera avancerad AI med genomtänkt, användarcentrerad design.

Utvecklarna hoppas att VIPTour kommer att inspirera till mer inkluderande teknologier som inte bara fokuserar på tillgänglighet, utan även på självständighet och glädje.