Kompiuteriai, kurie kalba jūsų kalba

Noriu skristi iš Bostono į Milvokeną
Šeštadienisformysisters
gimtadienis ir nenoriu sustoti
Čikaga ir nenoriu
mokėti daugiau nei keturis šimtus dolerių
ir vakarėlis prasideda trečią valandą
reikia gauti anksciau.

Gražiai pasakykite tai žmogui oro linijų agentui ir jis greitai išskirs jūsų žodžius ir suras jūsų kriterijus atitinkančius skrydžius. Tačiau pasakykite tai oro linijų automatinių rezervacijų linijai ir greičiausiai gausite linksmą skaitmeninį balso intonavimą. Atsiprašome, aš to nesupratau.

Nekaltink balso. Net darant prielaidą, kad aviakompanijos kompiuteriai įveikė iškraipytus žodžius, foninį triukšmą ir Bostono akcentą, kad užklausa būtų paversta tiksliu tekstu, jokia kalbos apdorojimo sistema neturi tiek skaičiavimo galios, kad suprastų jūsų kainą ir maršruto suvaržymus, nekreipkite dėmesio į nereikšmingumą, pvz., faktą, kad šeštadienį. yra tavo sesers gimtadienis, ir suprask, kad jei vakarėlis prasideda 15.00 val., tavęs nedomina skrydžiai, atvykstantys į Milvokį 4 val.

Jei kompiuteriai galėtų Jei suprastumėte ir reaguotumėte į tokius įprastinius natūralios kalbos prašymus, rezultatai būtų naudingi visiems: oro linijoms nereikėtų samdyti tiek daug agentų, o vartotojams nereikėtų kovoti su painiavos dėl jutiklinių tonų sąsajų, kurios juos įniršę palieka. bakstelėję 0 mygtuką, veltui bandydami susisiekti su tiesioginiu operatoriumi.

Futuristai tokį pasaulį įsivaizduoja mažiausiai nuo 1968 m., kai 2001: Kosminė odisėja HAL 9000 tapo archetipiniu balso interaktyviu kompiuteriu. Akademiniai ir įmonių tyrėjai, suintrigavę visiško idėjos šaltumo, lygiai taip pat ilgai ieškojo sistemų, skirtų atpažinti ir reaguoti į žmogaus kalbą. Tačiau technologijos neįsigali, nes jos yra šaunios: joms reikia verslo reikalo. Kalbant apie kalbos apdorojimą, tai didžiulės tiesioginio klientų aptarnavimo išlaidos, kurios galiausiai išstumia technologijas iš laboratorijos. Paprastas paspaudimas arba sakykite, kad telefonų medžiai greitai eina į šiukšlių krūvą, nes tokios įmonės kaip „Nuance Communications“ ir „SpeechWorks“ sulieja anksčiau konkuruojančias strategijas į programinę įrangą, kuri numano žmonių natūraliai ištartų ar rašytinių užklausų ketinimus. Didžiosios oro linijų bendrovės, bankai ir plataus vartojimo prekių įmonės jau naudoja sistemas ir, nors ši technologija dar negali atlaikyti pokalbio pabaigos, ji padeda skambinantiems paprastais klausimais išvengti ilgų eilių ir išlaisvina agentus, kuriems reikia susidoroti. sudėtingesnius prašymus.

Remiantis technologijų analizės įmonės „Forrester Research“ duomenimis, dėl tokių patobulinimų buvo sukurtos natūralios kalbos sistemos, leidžiančios sparčiai augti: 43 procentai Šiaurės Amerikos įmonių įsigijo interaktyviąją balso atsako programinę įrangą savo skambučių centrams arba atlieka bandomuosius tyrimus. Pasak Steve'o McClure'o, rinkos analizės įmonės IDC programinės įrangos tyrimų grupės viceprezidento Steve'o McClure'o, kai vis daugiau įmonių pakeičia savo senus jutiklinio tono telefono meniu, šiandieninė 500 mln. Pavyzdžiui, 2002 m. pabaigoje Bell Canada įdiegė 4,5 mln. USD vertės balso atsako sistemą, kurią sukūrė Menlo Park, Kalifornijoje įsikūręs „Nuance“. Remiantis mūsų matomais rezultatais, faktinė investicijų grąža užtruks tik apie 10 mėnesių, sako Belinda Banks, Bell Canada asocijuotoji klientų aptarnavimo direktorė. Apskritai vien šiais metais bendrovė tikisi sutaupyti 5,3 mln. USD klientų aptarnavimo išlaidų.

Ir tai tik pirmasis kalbos apdorojimo sistemų diegimo etapas. Tokioms įmonėms kaip „Nuance“ ir „Boston's SpeechWorks“, dviem interaktyvių balso atsako sistemų rinkos lyderėms, sekasi iš dalies dėl to, kad jos pritaikė savo technologijas siauroms sritims, pvz., kelionių informacijai, kur žodynai ir sąvokos, kurias jos turi įvaldyti, yra riboti. Net kai tokios sistemos perima klientų aptarnavimo nišą, kitos įmonės vis dar siekia tikrojo natūralios kalbos supratimo. Jei, pavyzdžiui, IBM ir Palo Alto tyrimų centro (PARC) tyrimų pastangos duos vaisių, kompiuteriai netrukus galės interpretuoti beveik bet kokį pokalbį arba gauti beveik bet kokią žiniatinklio naudotojo pageidaujamą informaciją, net jei ji yra uždaryta. vaizdo failą ar užsienio kalba atveriančias rinkas visur, kur žmonės žinių siekia kompiuterių tinklais. Numatoma IDC McClure, kadangi GUI [grafinė vartotojo sąsaja] buvo sąsaja 1990-aisiais, NUI arba natūrali vartotojo sąsaja bus sąsaja šį dešimtmetį.

Sakyk ką?

Norint sukurti tikrai interaktyvią klientų aptarnavimo sistemą, tokią kaip „Nuance’s“, reikia išspręsti kiekvieną iš pagrindinių natūralios kalbos apdorojimo iššūkių: tiksliai paversti žmogaus kalbą mašininiu būdu skaitomu tekstu; teksto žodyno ir struktūros analizė, siekiant išgauti prasmę; sukurti protingą atsakymą; ir atsakydamas žmogišku balsu.

MIT, Carnegie Mellon universiteto ir kitų universitetų mokslininkai, taip pat tokių kompanijų kaip IBM, AT&T ir Stanfordo tyrimų instituto (dabar SRI International) tyrėjai dešimtmečius kovojo su pirmąja problemos dalimi: ištarti žodį. į ką nors, su kuo gali dirbti kompiuteriai. Pirmieji praktiški produktai pasirodė dešimtojo dešimtmečio pradžioje vartotojų kalbos atpažinimo programų, tokių kaip IBM balso tipas, forma, kurios diktavo, bet privertė vartotojus stabtelėti po kiekvieno žodžio, o tai ribojo priėmimą. Dešimtojo dešimtmečio viduryje ši technologija pažengė į priekį ir paskatino sukurti tokias diktavimo sistemas kaip Dragon Systems NaturallySpeaking ir IBM ViaVoice, kurios gali perrašyti nenutrūkstamą kalbą iki 99 procentų tikslumu.

Maždaug tuo pačiu metu keli mokslininkai atsiskyrė nuo akademinių ir įmonių laboratorijų, kad sukurtų naujas įmones, skirtas spręsti dar sudėtingesnes antrosios kalbos apdorojimo srities, vadinamos kalbos supratimu, problemas ir didesnes potencialias rinkas. Iš esmės pažanga šioje srityje lėmė tikrąjį augimo spurtą. Pasak „SpeechWorks“ vyriausiojo technologijų pareigūno Michaelo Phillipso, buvusio MIT kompiuterių mokslo laboratorijos mokslininko, šios pažangos pagrįstos dviem svarbiais faktais. Pirmoji buvo ta, kad nėra prasmės siekti mėnulio – dešimtmečių senumo svajonės apie sistemas, galinčias palaikyti HAL panašų bendrą pokalbį. Egzistuoja mitas, kad žmonės nori kalbėtis su mašinomis taip pat, kaip kalba su žmonėmis, sako Phillipsas. Žmonės nori veiksmingos, draugiškos, paslaugios mašinos, o ne kažko, kas bandytų priversti juos manyti, kad jie kalbasi su žmogumi. Ši prielaida labai supaprastina natūralios kalbos sistemos kūrimo ir mokymo darbą.

Antrasis supratimas buvo tas, kad atėjo laikas sujungti filosofijas, kurios ilgai laikėsi konkuruojančių kalbos apdorojimo bendruomenės frakcijų. Viena filosofija iš esmės teigia, kad kalbos supratimas yra jos gramatinės struktūros atpažinimo dalykas, o kita teigia, kad statistinė analizė – žodžių ar frazių suderinimas su istorine kalbos pavyzdžių duomenų baze – yra veiksmingesnė priemonė atspėti sakinio reikšmę. Pradedantieji sužinojo, kad hibridinės sistemos, kuriose naudojami abu metodai, yra tikslesnės nei bet kuris kitas metodas atskirai.

Tačiau ši įžvalga neatėjo per naktį. MIT Phillips padėjo sukurti eksperimentinę programinę įrangą, galinčią atpažinti kalbą ir, remiantis gramatikos supratimu, suprasti užklausą ir logiškai atsakyti. Kaip ir kitos gramatikos sistemos, ji suskaidė sakinį į sintaksinius komponentus, tokius kaip subjektas, veiksmažodis ir objektas. Tada sistema suskirstė šiuos komponentus į medžio pavidalo diagramas, vaizduojančias sakinio semantinį turinį arba vidinę logiką – kas ką padarė ir kada. Programinė įranga buvo skirta padėti vartotojams naršyti po Kembridžą, MA, aiškina Phillipsas. Sakytumėte: „Kur yra artimiausias restoranas?“, o jis sakytų: „Kokio restorano norite?“ Sakytumėte, kinų, ir jis ras jums vietą.

Netrukus po to, kai 1994 m. Phillipsas licencijavo technologiją iš MIT ir paliko pradėti SpeechWorks, jis ir konkurento „Nuance“ mokslininkai pastebėjo, kad vienai iš jų tikslinių programų, skambučių valdymui, reikia kažko daugiau. Yra įmonių, kurios turi 300 skirtingų 800 numerių, aiškina Phillipsas. Klientas nesupranta organizacijos struktūros – jie tiesiog žino, kokią problemą turi. Tinkamas dalykas yra užduoti klausimą, pvz., „Kokia jūsų problema?“ Tačiau, palyginti su prašymu į netoliese esantį kinų restoraną, tokie klausimai yra pavojingai atviri.

Problema darosi sunkesnė, kai pagalvojus, kad daugelio žmonių kalbos dviprasmiškumas – pagalvokite apie tokią frazę, kaip jis matė merginą su teleskopu – reiškia, kad daugelis prašymų gali būti interpretuojami įvairiai. Yra tiek daug skirtingų būdų, kaip kas nors gali pasikalbėti su sistema, kad bandyti visa tai aprėpti gramatikose yra per daug, sako Johnas Shea, „Nuance“ rinkodaros ir produktų valdymo viceprezidentas.

Pagaliau SpeechWorks rado veiksmingą sprendimą 2000 m., kai susiejo su MIT programine įranga su statistine kalbos apdorojimo technologija, sukurta AT&T Labs-Research, Florham Park, NJ. AT&T sistema sukurta remiantis įprastų sakinių fragmentų duomenų baze, sudaryta iš dešimčių tūkstančių įrašytų telefono skambučių, apimančių tiek žmonių tarpusavio ryšį, tiek žmonių ir mašinų ryšį. Kiekvienas duomenų bazės fragmentas įvertinamas pagal statistinį ryšį su tam tikra tema ir atitinkamai klasifikuojamas. Pavyzdžiui, fragmentas, pavyzdžiui, mano neatlikti skambučiai, gali stipriai susieti su temos neatpažinto numerio atsiskaitymo užklausomis, o sistema nukreiptų skambutį agentui, kuris galėtų kredituoti skambinančiojo sąskaitą. Jei sistema nėra įsitikinusi savo pasirinkimu, ji ragina skambinantįjį pateikti daugiau informacijos, naudodama kalbos sintezės technologiją. Galiausiai, pasak AT&T, sistema teisingai nukreipia daugiau nei 90 procentų skambučių – tai daug didesnis sėkmės rodiklis, nei skambinantieji patiria patys naršydami senamadiškus telefonų medžius.

„Nuance“ sukūrė panašią sistemą, pagrįstą SRI technologija, kuri gali naudoti gramatinius arba statistinius metodus arba abu, kad išskirtų prasmę iš skambinančiojo kalbos. Mes naudojame skirtingus metodus, atsižvelgdami į kliento poreikius, sako Felixas Gofmanas, „Nuance“ produktų rinkodaros vadovas. Galite maišyti ir derinti. Konkrečioje srityje, pavyzdžiui, bankininkystėje, skambintojų klausimų temos ir žodynas bus riboti, o sistema gali veikti tik naudodama iš anksto nustatytus klientų žodžių sąrašus. Naujoms ar platesnėms sritims, tokioms kaip telefono paslaugos užsakymas, sistema saugo kiekvieną išgirstą klausimą duomenų bazėje, tada naudoja statistinius metodus, kad palygintų naujus klausimus su senais įrašais, ieškodama galimų atitikčių – taip laikui bėgant pagerinamas tikslumas.

„SpeechWorks“ skambučių centro technologiją naudoja tokios įvairios įmonės kaip „Office Depot“, JAV pašto tarnyba, „Thrifty Car Rental“ ir „United Airlines“. Tačiau bendrovė, kuri technologiją stumia arčiausiai savo galimybių, yra Amtrak. Keliautojai, skambinantys į „Amtrak“ automatinę telefono sistemą, gali ne tik gauti traukinių tvarkaraščius, bet ir užsisakyti rezervacijas bei apmokestinti bilietus iš savo kredito kortelių. Kai pradėjome, pagrindinis tikslas buvo padidinti klientų pasitenkinimo rodiklius, sako Mattas Hardisonas, geležinkelio pardavimų, platinimo ir klientų aptarnavimo vadovas. Tačiau kaip premiją, anot jo, sutaupytos darbo sąnaudos per 18 mėnesių atpirko „Amtrak“ 4 mln. USD investicijas į technologiją.

Tuo tarpu „Nuance“ turi didelių klientų finansų ir telekomunikacijų pramonėje, įskaitant „Schwab“, „Sprint PCS“ ir „Bell Canada“. „British Airways“ įmonei pranešė, kad praėjusiais metais įdiegus „Nuance“ kalbos atpažinimo sistemas, vidutinė kaina vienam kliento skambučiui sumažėjo nuo 3,00 USD iki 0,16 USD. Be to, „Bell Canada's Banks“ duomenimis, 40 procentų klientų, naršydami bendrovės jutiklinio tono telefonų medyje, naudodavo nulį arba paprašydavo tiesioginio operatoriaus. Nuo 2002 m. gruodžio mėn., kai bendrovė įdiegė sistemą, iki 2003 m. kovo mėn., šis skaičius sumažėjo iki 15 procentų, teigia Banksas.

Gilesnis supratimas

Tačiau nepaisant sėkmės, šios sistemos jokiu būdu nesupranta, ką girdi. Juose kalbama tik apie gramatikos taisykles, tikimybes ir saugomus pavyzdžius. Iš tiesų, jie yra puikūs būtent todėl, kad jų kūrėjai nusigręžė nuo sistemos, pakankamai protingos, kad galėtų skaityti ir apibendrinti knygą arba palaikyti bendrą pokalbį, paieškos.

Tačiau kiti tyrinėtojai išlaiko platesnį požiūrį į natūralios kalbos apdorojimo galimybes. Kaip ir Ronas Kaplanas, PARC mokslinis bendradarbis, sukūręs didžiąją dalį pagrindinių gramatikos teorijų už daugelio šiuolaikinių natūralių kalbų sistemų, jie kuria programinę įrangą, galinčią susidoroti su daug įvairesne informacija – nuo ​​laikraščių istorijų iki netvarkingos daugialypės terpės masės. informaciją internete. Kaplanas kritiškai vertina tai, ką jis vadina sekliais metodais, naudojamiems nišinėms programoms, tokioms kaip skambučių valdymas. Palyginti su alternatyva – brangaus klientų aptarnavimo agentų personalo išlaikymas – jie iš tikrųjų nėra blogi, sako jis. Tačiau palyginti su tuo, ko norėtumėte, jie smirda. Kaplan teigia, kad efektyvesnė sąsaja natūralia kalba pašalintų poreikį kruopščiai pritaikyti sistemas ir leistų vartotojams laisvai kalbėti ar rašyti.

Dvi problemos, trukdančios šiai vizijai, Kaplano nuomone, yra tai, kad kalbų pavyzdžių duomenų bazės, kuriomis remiasi paprastesnės sistemos, yra per mažos, o jų naudojami statistiniai algoritmai yra sukurti taip, kad pašalintų daugumos žmonių kalbų neaiškumus, o taip pat greitai galima tikriausia prasme. Kaplanas mano, kad jei šis dviprasmiškumas bus pašalintas per anksti, gali būti prarasta teisinga posakio prasmė, ypač ilgo ar sudėtingo sakinio. Taigi pastarąjį dešimtmetį jis dirbo prie gramatikos valdomos sistemos, vadinamos Xerox Linguistic Environment, kuri iš tikrųjų bando išsaugoti dviprasmiškumas. Sistema išanalizuoja posakį į kiekvieną įmanomą sakinių diagramą, leidžiamą pagal 314 taisyklių, reglamentuojančių ryšius tarp įvairių kalbos dalių, rinkinį (PARC tyrinėtojai taisykles rinko rankiniu būdu per trejus metus). Pavyzdžiui, sudėtingas sakinys, kuriame yra 40 ar daugiau žodžių, gali būti interpretuojamas net 1000 skirtingų būdų.

Sistemos gramatikos analizė yra tokia išsami, kad ji teisingai užfiksuoja vidutiniškai 75 procentus loginių ryšių sakinyje – tai iš tikrųjų yra labai daug, palyginti su tuo, ką daro dauguma statistinių metodų, sako Kaplanas. Šis tikslumo koeficientas gali būti padidintas iki maždaug 80 procentų, jei programinė įranga pasinaudos tais statistiniais metodais, kiekvieną galimą interpretaciją lygindama su panašiomis diagramomis parengtoje duomenų bazėje – PARC programinės įrangos atveju, šimtų tūkstančių tikslių sudarytų sakinių diagramų saugykloje. iš „Wall Street Journal“. straipsnius.

Kaplan planuoja pirmiausia atskleisti sistemą Xerox didžiulėje skaitmeninėje kopijuoklio remonto technikos žinių bazėje, kurią nuolat konsultuoja ir atnaujina įmonės specialistai. Ten jis palygins tūkstančius atskirų įrašų, kad pašalintų perteklius ir prieštaravimus. Gali būti, kad daugelis technikų atrado tą patį bendros problemos sprendimą, pvz., pakeisti kopijavimo aparato būgną, aiškina Kaplanas. Gaunate daugybę įrašų, kuriuose sakoma tas pats, tik skirtingais būdais. Jis priduria, kad automatinis tokio pertekliaus nustatymas ir sumažinimas gali padėti technikai praleisti mažiau laiko rūšiuojant parinktis. Be to, programinė įranga ilgainiui gali tapti pažangios dokumentų vertimo į įvairias kalbas sistemos šerdimi – užduotis, kurią ypač kamuoja dviprasmiškumas ( žr. „Vertimo iššūkis“. ).

Tačiau, kad kompiuteris galėtų suprasti ar išversti saugomą informaciją, išreikštą natūralia kalba, jis turi ją rasti. Plečiantis skaitmeninei visatai tai darosi vis sudėtingiau, todėl IBM vykdo ambicingą projektą, siekdama panaudoti natūralios kalbos apdorojimą tvarkydama nestruktūrizuotą informaciją, masę skaitmeninio teksto, vaizdų, vaizdo ir garso, saugomų kompiuterių tinkluose. Didžioji IBM verslo dalis priklauso nuo duomenų bazės produkto DB2, tačiau tradicinė duomenų bazė gali gauti tik jau sutvarkytą ir indeksuotą informaciją. IBM nori suteikti verslo vartotojams ir vartotojams tiesioginę prieigą prie neindeksuotų duomenų, slypinčių milijonuose standžiųjų diskų visame pasaulyje, taip veiksmingai išplėsti savo dominavimą struktūrinių duomenų valdyme į nestruktūrizuotos informacijos sritį. Siekdama to pasiekti, bendrovė vykdo iniciatyvą, skirtą sujungti skirtingus kalbos apdorojimo metodus į galingą programinę įrangą, galinčią protingai ieškoti, tvarkyti ir išversti visus šiuos duomenis. Projektas, vadinamas nestruktūrizuotos informacijos valdymo architektūra, galėtų paskatinti įmonės verslą į interneto amžių. Remiantis tyrimų rezultatais, tai labai svarbu, sako Alfredas Spectoras, skyriaus vyresnysis viceprezidentas.

Vertimo programinė įranga ir kiti produktai, kuriuose naudojama nauja architektūra, vis dar yra prototipo stadijoje. Tačiau galiausiai, sako Davidas Ferrucci, pagrindinis projekto programinės įrangos architektas, architektūra padės IBM sukurti sistemas, kurios iš bet kokio skaitmeninio šaltinio bet kokia kalba paima naujausią vartotojo pageidaujamą informaciją ir pateikia ją organizuota forma. Pasak Giga Information Group Kembridže, MA, JAV įmonės jau dabar išleidžia 900 milijonų dolerių per metus įmonių informacijos portalams, kurie padeda darbuotojams rasti jiems reikalingus įrašus, o IBM ir kitų įmonių, kuriančių programinę įrangą nestruktūrizuotai informacijai valdyti, galimybės tik padidės. kad informacija kaupiasi. Dabar yra aiškus verslo loginis pagrindas tvarkyti nestruktūrizuotus duomenis, daro išvadą Spector.

Jei pastangos susidoroti su dviprasmiškumu, nestruktūrizuota informacija ir kitais sudėtingais kalbos klausimais bus sėkmingos, galų gale galime nustoti elgtis su kompiuteriais kaip su vaikais, supaprastindami viską, ką sakome, kad atitiktų jų nesubrendusį pasaulio supratimą. Kai ateis ta diena ir ji gali ateiti netrukus, vartotojai gali tikėtis, kad kiekviename žingsnyje ras automatines balso sąsajas, leidžiančias naudoti paprastą anglų (arba prancūzų ar kinų) kalbą, kad galėtų bendrauti su viskuo – nuo ​​žiniatinklio archyvų iki prietaisų ir automobilių.

Ir apie tai tikrai būtų apie ką kalbėti.

Kalbos apdorojimo Babelis BENDROVĖ TECHNOLOGIJA VIETA AT&T Automatinis kalbos atpažinimas; natūraliai skambančios kalbos sintezė
Niujorkas, NY Pokštas Automatizuotas el. pašto klasifikavimas ir atsakymas San Franciskas, Kalifornija ir Jeruzalė, Izraelis IBM Automatinis kalbos atpažinimas;
vertimas; standartinės architektūros nestruktūruotos informacijos valdymui Armonk, NY Intel Garso ir vaizdo kalbos atpažinimas Santa Klara, Kalifornija Inxight Programinė įranga, skirta atrasti, tyrinėti ir suskirstyti tekstinius duomenis įmonių tinkluose Sunnyvale, CA „iPhrase“ technologijos Natūralios kalbos teksto paieška įmonių interneto svetainėse Cambridge, MA Microsoft Gramatikos tikrinimas; užklausų sąsajos; vertimas Redmond, WA Nuance Communications Interaktyvios balso atsako sistemos, skirtos klientų aptarnavimo telefonu telefonu Menlo Park, CA Palo Alto tyrimų centras Patobulinti prasmės iš rašytinio teksto išgavimo algoritmai Palo Alto, CA SpeechWorks Interaktyvios balso atsako sistemos, skirtos klientų aptarnavimui telefonu Bostone, MA StreamSage Vaizdo ir garso medžiagos paieška ir indeksavimas natūralia kalba Vašingtonas, Kolumbija

paslėpti