211service.com
Kas bus toliau su „Netflix“ algoritmais?
Kai „Netflix“ prizas buvo apdovanotas praėjusį mėnesį, jis užbaigė trejus metus trukusią įtemptą konkursą, kurio tikslas buvo rasti geresnį vartotojų filmų pasirinkimų nuspėjimo algoritmą.
Laimėjusi komanda, „BellKor“ pragmatiškas chaosas , buvo pirmasis, kuris prognozavo „Netflix“ klientų filmų reitingus 10 procentų tiksliau nei įmonės vidinė sistema – tai žygdarbis, kurio daugelis ekspertų manė, kad bus neįmanoma, kai buvo paskelbtas milijono dolerių prizas. „Netflix“ planuoja pasiūlyti a antroji premija , šį kartą algoritmams, kurie nuspėja filmų nuostatas naudodami daugiau naudotojo informacijos, pvz., lytį, amžių ir pašto kodą. Tačiau ekspertai teigia, kad tikrasis iššūkis yra rasti būdų, kaip pritaikyti pamokas, įgytas per pirminį „Netflix“ iššūkį kitose rekomendacijų sistemose.
Spalio pabaigoje šios srities ekspertai susitiks „ ACM konferencija dėl rekomendacijų sistemų Niujorke ir paklausti, be kita ko, ko išmokta iš „Netflix“ prizo.
Originalaus „Netflix“ konkurso dalyviai apmokė savo algoritmus naudodami didžiulį duomenų rinkinį: daugiau nei 100 milijonų įvertinimų, apimančių beveik 18 000 pavadinimų iš beveik pusės milijono prenumeratorių. Norint patikrinti jų rezultatus, jų algoritmai buvo išbandyti naudojant „Netflix“ tvarkomą duomenų rinkinį ir buvo laikomi paslaptyje nuo konkursų, kad būtų išvengta sukčiavimo.
„Netflix“ duomenys sukėlė keletą didelių kliūčių, aiškina Nikolajus Ampazis , Graikijos Egėjo universiteto Finansų ir valdymo inžinerijos katedros docentas, kurio komanda, Ansamblis , konkursą baigė antroje vietoje. Duomenų rinkinys buvo didžiulis, bet taip pat negausus, o tai reiškia, kad klientai paprastai įvertino apie 1 procentą žiūrėtų filmų. Taigi, norint įveikti 10 procentų barjerą, esamų modeliavimo metodų ribos buvo gerokai padidintos, sako Ampazis.
Tačiau „Netflix“ duomenų keliami iššūkiai taip pat padarė konkursą labai vertingą Šie Bertino , dar vienas grupės „The Ensemble“ narys. Tyrėjai paprastai turi prabangą pasirinkti duomenų rinkinius ir turėti daugiau informacijos apie tuos duomenis. „Netflix“ konkurse konkurso dalyviai buvo priversti taikyti visus algoritmus tam pačiam varginančiai netolygių realaus pasaulio duomenų rinkiniui. Kadangi žmonės turėjo naudoti fiksuotą duomenų rinkinį, jie turėjo susidoroti ne tik su konkretaus metodo pranašumais, bet ir su jo trūkumais, sako Bertino. Tu negalėjai nuo to pabėgti.
Gavinas Poteris , kuris pelnė pripažinimą už tai, kad 2008 m. įveikė „Netflix“ prizo dešimtuką pavadinimu „Tiesiog vaikinas garaže“, sako, kad keli pagrindiniai suvokimai leido laimėtiems algoritmams pasiekti tikslą. Pirma, buvo supaprastintas galingas duomenų rinkinių šablonų paieškos algoritmas, žinomas kaip bendradarbiavimo filtravimas, kad jį būtų galima naudoti dideliame „Netflix“ duomenų rinkinyje. Antra, dalyviai išmoko atkreipti dėmesį į tam tikras naujas smulkmenas, pavyzdžiui, tai, kad filmo užsakymas iš viso rodo tam tikrą pirmenybę jam, net jei klientas jo neįvertino. Informacija apie datą ir laiką taip pat buvo svarbi. Tačiau didžiausias supratimas, pažymi Poteris, buvo tai, kad įvairių metodų derinimas davė geriausių rezultatų.
Įvairių požiūrių derinimas sulaukė daug dėmesio pomirtiniuose konkursuose, tačiau Jonas Riedlis , Minesotos universiteto informatikos profesorius, sako, kad dėl to jaučia prieštaringus jausmus. Tokie žmonės kaip aš ieškojo idėjų, kurios leistų mums suprasti sprendimo struktūrą, sako jis, kur mes tikrai suprantame kažką naujo ne tik apie tai, koks sprendimas yra geras, bet ir kodėl taip yra.
Tačiau laimėję modeliai tokios įžvalgos nepateikė. Anot Riedlo, jie teigia, kad daugelio algoritmų derinimas su mašininio mokymosi metodais gali būti geras būdas tvarkyti didelius duomenų rinkinius apskritai. Tačiau ir tai dar reikia įrodyti. Jis priduria, kad daugelis iš mūsų nerimauja, kad šis požiūris gali būti ne toks vaisingas kitur.
Akivaizdu, kad daugeliui pramonės šakų galėtų būti naudingi konkurencijai sukurti modeliai. Be kitų internetinių rekomendacijų sistemų, Ampazis siūlo, kad tokie algoritmai galėtų būti taikomi prekybai rinkoje, sukčiavimo aptikimui, kovojant su šiukšlėmis ir kompiuterių saugumu. Bertino sako, kad „The Ensemble“ nariai šiuo metu svarsto, kaip geriausiai panaudoti konkurso metu sukurtas technologijas.
Poteris internetinėje pažinčių svetainėje taiko savo tyrimą dėl prizo TaipNeGaliB , kuriame naudojami dvipusiai rekomendacijų algoritmai, siekiant rasti vartotojus, kurie gali norėti susitikti. Visų pirma, jis tikisi panaudoti „Netflix“ prizo įžvalgas, kad prognozuotų naudotojų numanomas nuostatas, pvz., kokius puslapius jie įkelia.
„Netflix“ prizas daug dėmesio skyrė rekomendacijų sistemoms ir padarė didžiulę pažangą šioje srityje. Panašu, kad per antrąjį konkursą pavyks padaryti tą patį. Tačiau Riedlas mano, kad kiti rekomendacinių sistemų komponentai gali būti palikti procese. Dabar atėjo laikas mums, kaip sričiai, pagalvoti, kokie kiti aspektai galėjo būti nepaisyti, sako jis, ir kaip mokslininkai gali padaryti pažangą sprendžiant šiuos aspektus taip, kad tai turėtų įtakos pramonei.
Pavyzdžiui, Riedlas mano, kad reikia algoritmų, leidžiančių rekomendacijų sistemoms naudoti vis didesnius duomenų rinkinius, sistemų, kurios paaiškintų vartotojui, kodėl buvo pateikta konkreti rekomendacija, ir geresnės vartotojo sąsajos. Jis taip pat pažymi, kad nors „Netflix“ konkurencija padarė įspūdingą pažangą interpretuojant negausius duomenis, kai kuriais atvejais gali būti prasminga išmokti kurti svetaines, kad vartotojai būtų skatinami pateikti daugiau duomenų. Jis tikisi, kad būsimas susitikimas Niujorke padės apibrėžti platesnį klausimų, į kuriuos turi atsakyti mokslininkai, rinkinį.