211service.com
Minčių skaitymo algoritmai atkuria tai, ką matote, naudodami smegenų nuskaitymo duomenis
Smegenų vaizdo atkūrimo metodų palyginimas. Viršutinėje eilutėje rodomi originalūs vaizdai, o apatinėje eilutėje – naujojo giliai generatyvaus multivew modelio rezultatai.
Vienas iš įdomesnių neurologijos tikslų yra rekonstruoti suvoktus vaizdus analizuojant smegenų skenavimus. Idėja yra išsiaiškinti, į ką žmonės žiūri, stebint jų regėjimo žievės veiklą.
Žinoma, sunku rasti būdų, kaip efektyviai apdoroti duomenis iš funkcinio magnetinio rezonanso tomografijos (fMRI). Užduotis yra susieti aktyvumą trimačiuose voksiuose smegenyse su dvimačiais vaizdo pikseliais.
Tai pasirodo sunku. fMRI nuskaitymai yra labai triukšmingi, ir gerai žinoma, kad aktyvumą viename vokselyje įtakoja aktyvumas kituose voksiuose. Tokio tipo koreliacija yra brangi skaičiavimo požiūriu; iš tiesų, dauguma požiūrių į tai tiesiog nepaiso. O tai žymiai sumažina jų gaminamų vaizdo rekonstrukcijų kokybę.
Taigi svarbus tikslas yra rasti geresnių būdų, kaip sutraiškyti fMRI nuskaitymo duomenis ir taip sukurti tikslesnes smegenų vaizdo rekonstrukcijas.
Šiandien Changde Du iš Smegenų įkvėpto intelekto tyrimų centro Pekine (Kinija) ir pora draugų teigia, kad sukūrė būtent tokią techniką. Jų gudrybė yra apdoroti duomenis naudojant giluminio mokymosi metodus, kurie geriau valdo netiesines koreliacijas tarp vokselių. Rezultatas yra daug geresnis būdas atkurti tai, kaip smegenys suvokia vaizdus.
Changde ir bendradarbiai pradeda nuo kelių fMRI nuskaitymo duomenų rinkinių, skirtų žmogaus regos žievei, žiūrint į paprastą vaizdą – pavyzdžiui, vieną skaitmenį arba vieną raidę. Kiekvieną duomenų rinkinį sudaro nuskaitymai ir originalus vaizdas.
Užduotis yra rasti būdą, kaip naudoti fMRI nuskaitymus, kad būtų atkurtas suvokiamas vaizdas. Iš viso komanda turi prieigą prie daugiau nei 1800 fMRI nuskaitymų ir originalių vaizdų.
Jie tai traktuoja kaip paprastą gilaus mokymosi užduotį. Jie naudoja 90 procentų duomenų, kad apmokytų tinklą, kad suprastų ryšį tarp smegenų skenavimo ir pradinio vaizdo.
Tada jie išbando tinklą su likusiais duomenimis, pateikdami nuskaitytus duomenis ir prašydami atkurti originalius vaizdus.
Didelis šio metodo privalumas yra tas, kad tinklas išmoksta, kuriuos vokselius naudoti vaizdui atkurti. Taip išvengiama būtinybės apdoroti visų jų duomenis.
Taip pat sužinoma, kaip koreliuoja šių vokselių duomenys. Tai svarbu, nes jei koreliacijos ignoruojamos, jos bus traktuojamos kaip triukšmas ir atmetamos. Taigi naujas požiūris – vadinamasis giluminis generacinis kelių peržiūrų modelis – išnaudoja šias koreliacijas ir išskiria jas nuo tikro triukšmo.
Norėdami įvertinti giluminį generacinį daugiavaizdį modelį, Changde ir bendradarbiai lygina jo rezultatus su daugelio kitų smegenų vaizdo atkūrimo metodų rezultatais. Jie tai daro naudodami standartinius vaizdų palyginimo metodus, kad pamatytų, kaip tiksliai atkurti vaizdai atitinka originalus.
Rezultatai leidžia įdomiai skaityti. Apskritai rekonstruoti vaizdai yra aiškūs originalų atvaizdai. Daugeliu atvejų jie yra daug tikslesni, nei gali valdyti kiti metodai.
Vaizdų palyginimo metrika tai patvirtina. Išsamūs eksperimentiniai palyginimai rodo, kad mūsų metodas gali tiksliau atkurti vaizdinius vaizdus iš fMRI matavimų, sako Changde ir kt.
Tai įdomus darbas su reikšmingomis pasekmėmis. Gebėjimas rekonstruoti smegenų vaizdus yra svarbus žingsnis kuriant geresnes smegenų ir mašinos sąsajas. Kiti veiksmai apims sudėtingesnių scenų ir judančių vaizdų analizavimo būdus. Changde ir bendradarbiai teigia, kad jų požiūris taip pat gali būti pritaikytas kitoms smegenų kodavimo problemoms, tokioms kaip garso ir fizinės užduotys.
Be to, kas žino. Iš čia tik trumpas vaizduotės šuolis prie smegenų skenavimo metodų, kurie atskleidžia, ką žmonės galvoja ar svajoja. Tik įsivaizduok!
Nuoroda: arxiv.org/abs/1704.07575 : Dalijimasis giliu generatyviu vaizdu, atkuriant žmogaus smegenų veiklą