211service.com
Mašininio mokymosi algoritmas stebi šokių šokių revoliuciją, tada kuria savo šokius
Dance Dance Revolution yra vienas iš klasikinių XX amžiaus pabaigos vaizdo žaidimų. Sėkmę, naujumą ir ilgaamžiškumą liudija tai, kad jis vis dar populiarus ir šiandien, praėjus beveik 20 metų nuo jo pristatymo.
Tai šokių žaidimas, kurį sudaro ekranas ir šokių platforma, kurią žaidėjai valdo kojomis. Platformoje yra keturios trinkelės, kurias žaidėjai turi liesti klausydami muzikos tokia tvarka, kokia nurodyta diagramoje ekrane. Taigi žaidėjai turi šokti pagal muziką taip, kaip to reikalauja žaidimas.
Žaidimas taip pat leidžia žaidėjams kurti ir platinti savo šokius. Bėgant metams žmonės sukūrė didžiules šokių duomenų bazes įvairioms populiarioms dainoms.
Tai davė idėją Chrisui Donahue ir jo draugams iš Kalifornijos universiteto San Diege. Kodėl nepasinaudojus šia didžiule duomenų baze, išmokant gilaus mokymosi mašiną kurti savo šokius?
Šiandien jie parodo, kaip tai padarė. Jų sistema, vadinama Dance Dance Convolution, kaip įvestį ima neapdorotus pop dainų garso failus ir sukuria šokių programas kaip išvestį. Rezultatas yra mašina, galinti choreografuoti muziką.
Pats žaidimas iš principo yra paprastas. Skambant muzikai, žaidėjas paliečia šokių platformos trinkeles tokia tvarka, kokia rodoma ekrane. Kiekvienas pagalvėlė gali būti vienoje iš keturių būsenų: įjungta, išjungta, laikoma (arba užšaldyta) ir atleidžiama. Kadangi keturias trinkeles galima įjungti arba atleisti atskirai, bet kuriuo metu yra 256 galimi žingsnių deriniai.
Žinoma, šokiai tampa vis sunkesni, o daugumoje dainų yra penkių sudėtingumo lygių šokiai. Sunkumą lemia ritminių poskyrių greitis. Pradedantiesiems skirtuose žaidimuose yra žingsnių ketvirčio ir aštuntosios natos, tačiau aukštesnio sunkumo šokiuose yra 16 natų žingsneliai ir kai kurie modeliai, apimantys 12 ir 24 natas.
Taip pat yra ir kitų neformalių šokių diagramų kūrimo taisyklių. Diagramų autoriai stengiasi vengti modelių, kurie priverstų žaidėją atsisukti nuo ekrano, sako Donahue ir kt. Rezultatas – šokiai su daugybe turtingų struktūrų.
Šokių diagramų kūrimo automatizavimo užduotis jokiu būdu nėra paprasta. Donahue ir bendras padalina jį į dvi dalis. Pirmasis – nuspręsti, kada dėti žingsnius, o antrasis – nuspręsti, kuriuos žingsnius pasirinkti. Tada jie moko mašininio mokymosi algoritmą, kad išmoktų kiekvieną užduotį.
Pirmoji užduotis apsiriboja dainos laiko žymų rinkinio, į kurį reikia įdėti žingsnių, rinkinio. Tai panašu į gerai ištirtą muzikos tyrimų problemą, vadinamą pradžios aptikimu. Tai apima svarbių dainos momentų, pvz., melodijų natų ar būgno smūgių, nustatymą.
Nors ne kiekviena mūsų duomenų pradžia atitinka Dance Dance Revolution žingsnį, kiekvienas Dance Dance Revolution žingsnis atitinka pradžią, tarkime Donahue ir kt.
Nustačius kiekvieno veiksmo laiko žymas, antroji užduotis yra pasirinkti žingsnį, kurį reikia atlikti kiekvieną akimirką.
Atliekant visas mašininio mokymosi užduotis, mokymo duomenų rinkinys yra labai svarbus. Muzikos tyrimai praeityje buvo trukdomi, nes autorių teisių problemos gali užkirsti kelią dainų naudojimui tyrime (arba bent jau perduoti kartu su rezultatais).
DDR tai apeina, nes tiek daug šokių diagramų sukūrė paprasti vartotojai. Donahue ir bendradarbiai teigia, kad vienoje internetinėje saugykloje, pavadintoje „Stepmania Online“, saugoma daugiau nei 350 gigabaitų šokių sąrašų daugiau nei 100 000 dainų.
Šiam tyrimui komanda sutelkia dėmesį į du mažesnius duomenų rinkinius, sudarytus iš įrašų ir šokių diagramų. Pirmajame yra 90 dainų, choreografuotų vieno autoriaus, kuris kiekvienai dainai parengė penkių sudėtingumo lygių diagramas. Antrajame duomenų rinkinyje yra 133 dainos su viena šokių diagrama.
Tada komanda padidina duomenų rinkinį sukurdama veidrodinį kiekvienos diagramos vaizdą, pavyzdžiui, keisdama kairę į dešinę ir aukštyn į žemyn (arba abu). Rezultatas – 35 valandų muzikos duomenų rinkinys neapdorotų garso failų pavidalu su daugiau nei 350 000 žingsnių.
Tada Donahue ir bendradarbiai naudoja 80 procentų muzikos, kad išmokytų mašininio mokymosi algoritmą atpažinti žingsnių išdėstymo laiką. Jie patvirtina ir išbando gautą modelį su likusiais 20 procentų duomenų. Ir jie naudoja panašias proporcijas, kad išmokytų kitą algoritmą, kad nustatytų žingsnių pasirinkimą. Panašūs metodai plačiai naudojami mašininiame mokyme atliekant užduotis, pvz., apdorojant natūralia kalba.
Rezultatai įspūdingi. Mūsų eksperimentai nustato galimybę naudoti mašininį mokymąsi, kad būtų galima automatiškai generuoti aukštos kokybės DDR diagramas iš neapdoroto garso, sako Donahue ir kt.
Jie sako, kad derindami įžvalgas iš muzikinės pradžios aptikimo ir statistinio kalbos modeliavimo, sukūrėme ir įvertinome daugybę giluminio mokymosi metodų, skirtų mokytis choreografuoti.
Tai įdomus darbas, parodantis mašininio mokymosi naudingumą atliekant užduotis, kuriose yra dideli anotuotų duomenų rinkiniai. Tai taip pat rodo, kad dar vienas žmogaus kūrybiškumo bastionas atiteko mašinoms.
Nuoroda: arxiv.org/abs/1703.06891 : Dance Dance Convolution