Kompiuterinis matymas AI: duomenys, reikalingi sėkmei

Pateikė Alegija

Gebėjimo anotuoti didžiulį duomenų kiekį, išlaikant kokybę, plėtojimas yra modelio kūrimo ciklo funkcija, kurios įmonės dažnai neįvertina. Tai reikalauja daug išteklių ir reikalauja specialių žinių.

Bet kurios sėkmingos mašininio mokymosi / dirbtinio intelekto (ML/DI) iniciatyvos esmė yra įsipareigojimas teikti aukštos kokybės mokymo duomenis ir įrodytų bei tiksliai apibrėžtų kokybiškų duomenų kelias. Be šio kokybiško duomenų srauto iniciatyva pasmerkta žlugti.

Kompiuterinės vizijos ar duomenų mokslo komandos dažnai kreipiasi į išorinius partnerius, kad sukurtų savo duomenų mokymo vamzdyną, o šios partnerystės skatina modelio veikimą.

Nėra vieno kokybės apibrėžimo: kokybės duomenys visiškai priklauso nuo konkrečios kompiuterinės vizijos ar mašininio mokymosi projekto. Tačiau yra bendras procesas, kurio gali laikytis visos komandos, dirbdamos su išoriniu partneriu, ir šį kokybiškų duomenų kelią galima suskirstyti į keturis prioritetinius etapus.

Anotacijos kriterijai ir kokybės reikalavimai

Mokymo duomenų kokybė yra duomenų rinkinio tinkamumo tam tikru ML/AI naudojimo atveju įvertinimas.

Kompiuterinės vizijos komanda turi sukurti nedviprasmišką taisyklių rinkinį, apibūdinantį, ką jų projekto kontekste reiškia kokybė. Anotacijos kriterijai yra taisyklių rinkinys, apibrėžiantis, kuriuos objektus komentuoti, kaip juos teisingai komentuoti ir kokie yra kokybės tikslai.

Tikslumo arba kokybės tikslai apibrėžia žemiausią priimtiną vertinimo metrikos, pvz., tikslumo, atšaukimo, tikslumo, F1 balo ir kt., rezultatą. Paprastai kompiuterinės vizijos komanda turės kokybės tikslus, kaip tiksliai buvo klasifikuojami dominantys objektai, kaip tiksliai buvo lokalizuoti objektai ir kaip tiksliai nustatyti ryšiai tarp objektų.

Darbo jėgos mokymas ir platformos konfigūravimas n

Platformos konfigūracija. Užduočių projektavimas ir darbo eigos sąranka reikalauja laiko ir patirties, o tiksliam anotavimui reikalingi konkrečios užduoties įrankiai. Šiame etape duomenų mokslo komandoms reikalingas partneris, turintis patirties, kad padėtų joms nustatyti, kaip geriausiai konfigūruoti ženklinimo įrankius, klasifikavimo taksonomijas ir anotacijų sąsajas siekiant tikslumo ir pralaidumo.

Darbuotojų testavimas ir balų skaičiavimas. Norint tiksliai pažymėti duomenis, komentatoriams reikia gerai parengtos mokymo programos, kad jie visiškai suprastų anotacijos kriterijus ir srities kontekstą. Komentarų platforma arba išorinis partneris turėtų užtikrinti tikslumą, aktyviai stebėdami anotatoriaus įgūdžius atliekant auksinių duomenų užduotis arba kai sprendimą pakeičia aukštesnės kvalifikacijos darbuotojas ar administratorius.

Pagrindinė tiesa arba auksiniai duomenys. Pagrindinės tiesos duomenys yra labai svarbūs šiame proceso etape, nes jie yra atskaitos taškai vertinant darbuotojus ir išmatuojant produkcijos kokybę. Daugelis kompiuterinės vizijos komandų jau dirba su pagrindinės tiesos duomenų rinkiniu.

Autoriteto ir kokybės užtikrinimo šaltiniai

Nėra universalaus kokybės užtikrinimo (QA) metodo, kuris atitiktų visų ML naudojimo atvejų kokybės standartus. Konkretūs verslo tikslai, taip pat rizika, susijusi su nepakankamai veikiančiu modeliu, lems kokybės reikalavimus. Kai kurie projektai pasiekia tikslinę kokybę naudodami kelis anotatorius. Kitiems reikalingos sudėtingos apžvalgos, susijusios su pagrindinės tiesos duomenimis arba eskalavimo darbo eigomis, patikrinus dalyko ekspertą.

Yra du pagrindiniai autoriteto šaltiniai, kuriuos galima naudoti anotacijų kokybei įvertinti ir kurie naudojami darbuotojams įvertinti: auksiniai duomenys ir ekspertų apžvalga.

• Auksiniai duomenys: auksiniai duomenys arba pagrindinės tiesos įrašų rinkinys gali būti naudojamas tiek kaip kvalifikacijos įrankis tikrinant ir įvertinant darbuotojus proceso pradžioje, tiek kaip produkcijos kokybės matas. Kai naudojate auksinius duomenis kokybei matuoti, lyginate darbuotojo komentarus su ekspertų komentarais tam pačiam duomenų rinkiniui, o šių dviejų nepriklausomų, aklų atsakymų skirtumai gali būti naudojami kiekybiniams matavimams, pvz., tikslumui, prisiminimui, tikslumui ir F1 balams atlikti. .

• Ekspertų apžvalga: šis kokybės užtikrinimo metodas remiasi ekspertų apžvalga, kurią pateikia aukštos kvalifikacijos darbuotojas, administratorius arba kliento ekspertas, kartais visi trys. Jis gali būti naudojamas kartu su aukso duomenų kokybės užtikrinimu. Ekspertas peržiūri kvalifikuoto darbuotojo atsakymą ir jį patvirtina arba prireikus pataiso, pateikdamas naują teisingą atsakymą. Iš pradžių ekspertų peržiūra gali būti atliekama kiekvienam atskiram pažymėtų duomenų atvejui, tačiau laikui bėgant, gerėjant darbuotojų kokybei, ekspertų peržiūrai gali būti naudojama atsitiktinė atranka nuolatinei kokybės kontrolei.

Duomenų sėkmės kartojimas

Kompiuterinės vizijos komandai sėkmingai paleidus aukštos kokybės mokymo duomenų srautą, ji gali paspartinti pažangą iki gamybai paruošto modelio. Teikdamas nuolatinį palaikymą, optimizavimą ir kokybės kontrolę, išorinis partneris gali jiems padėti:

• Stebėjimo greitis: norint efektyviai padidinti mastelį, verta išmatuoti komentarų pralaidumą. Kiek laiko užtrunka duomenų judėjimas per procesą? Ar procesas greitėja?
• Darbuotojų mokymas: didėjant projektui, ženklinimo ir kokybės reikalavimai gali keistis. Tam būtinas nuolatinis darbo jėgos mokymas ir balų skaičiavimas.
• Treniruotės atvejai: laikui bėgant mokymo duomenys turėtų apimti vis daugiau ypatingų atvejų, kad jūsų modelis būtų kuo tikslesnis ir patikimesnis.

Be aukštos kokybės mokymo duomenų net geriausiai finansuojami, ambicingiausi ML/AI projektai negali būti sėkmingi. Kompiuterinės vizijos komandoms reikia partnerių ir platformų, kuriomis jie galėtų pasitikėti, kad užtikrintų reikiamą duomenų kokybę ir pasauliui pritaikytų gyvenimą keičiančius ML/AI modelius.

„Alegion“ yra įrodytas partneris, kuriantis mokymo duomenų srautą, kuris naudos jūsų modelį per visą jo gyvavimo ciklą. Susisiekite su Alegion adresu [email protected] .

Šį turinį sukūrė Alegion. Ją parašė ne „MIT Technology Review“ redakcija.

paslėpti