Joosep Pata
Tehisaru keelemudel suudab inimesega väga veenvalt vestelda. Näiteks küsisin tehisarult, millised on alusfüüsika lahendamata küsimused. Vastuseks sain, et need on tumeaine- ja tumeenergia olemus, üldrelatiivsusteooria ja kvantmehaanika ühendamine ja antiaine küsimus. Ehkki see on põhimõtteliselt õige, ei saa järeldada, nagu oleks tehisarul inimesele arusaadav ettekujutus, mida need mõisted tähendavad. Tehisaru ei mõelnud füüsika peale ega teinud eksperimente Euroopa tuumauuringute organisatsioonis (CERN) või kosmoses, vaid võttis kokku inimeste kirjutatud veebitekstid – teadusartiklid ja populaarteaduslikud tekstid – ning pakkus küsimusele statistiliselt tõenäolise vastuse, mis sellegipoolest on üpris õige ja vastab praegusele teadmisele.
Artikli autori ekraanitõmmis vestlusest tehisaruga
Tehisaru keelemudelid põhinevad nn alusmudelitel (foundation model), kus võetakse ette väga suur kogus inimeste kirjutatud teksti, sisuliselt kogu internet, muudetakse see tekst arvudeks ja treenitakse väga paljude vabade parameetritega mudelit, et see ennustaks jupphaaval eelnevate arvude jada põhjal järgmisi arve ehk teksti. Seega treenitakse alusmudelit lahendama teksti lõpetamise ülesannet seniste tekstide põhjal. Selle käigus tekib mudelil sisemine matemaatiline pilt sõnadest ja nende omavahelistest seostest. Mudel seab igale sõnale või sõnaosale vastavusse vektori ehk teatud fikseeritud arvude komplekti. Näiteks Gemini mudelis vastab ühele sõnaosale ligikaudu 3000 arvu. See tähendab, et iga sõnaosa paikneb 3000-mõõtmelises matemaatilises ruumis mingisuguse sisemise loogika järgi.
Need arvude komplektid ei ole suvalised, vaid kannavad endas keelest lähtuvat sõnade omavaheliste seoste viisi. See tähendab, et sõnade „Eesti“ ja „Tallinn“ vektorid on arvude ruumis lähestikku. Sõnade „Tallinn“ ja „Eesti“ vaheline kaugus ja suund on sarnane sõnade „Helsinki“ ja „Soome“ vahelise kauguse ja suunaga. Tehisarul on teatav pilt nende sõnade tähendusest ja omavahelisest suhtest.
Suure keelemudeli sõnade asetus matemaatilises ruumis. Tehisaru mudel suudab noolte ehk vektorite liitmise ja lahutamise teel tuletada, et Helsingi seostub Soomega nii, nagu Tallinn Eestiga. Allikas: www.cs.cmu.edu/~dst/WordEmbeddingDemo/index.html
Niisugust statistilist keelemudelit õpetatakse edasi küsimuste-vastuste komplektide abil ja saadakse juturobot, mis võib olla üpris veenev ja abivalmis. Senine masinõpe lahendas eelpuhastatud andmetel sisend- ja väljundpaaride abil konkreetseid ülesandeid, ent nüüdisaegne tehisaru õpib lihtsate juhiste põhjal suurtest andmetest iseseisvalt kasulikku infot eraldama. Aga siiani oli olnud tegu ainult tekstiga. Võime ette kujutada, et kui peaksime maailma tajuma ainult teksti kaudu, jääks see kogemus väga ahtaks.
Kuidas õpetada tehisaru mudelit peale piltide ka keelt analüüsima?
Kui võtta suur kogum pilte ja nende kirjeldusi, saab mudeli abil siduda keele ja piltidel oleva visuaalse info. Mudel paigutab sõnaosad ja pildid samasse matemaatilisse ruumi. Nõnda saab mudeli abil näiteks leida kõik andmebaasis olevad pildid, mis on lähedal teatud sõnale või fraasile, või vastupidi, leida fraasid, mis on lähedal konkreetsele pildile. Kuna sõnad ja pildid on nüüd mudelis statistiliselt seotud, saab tehisarule ette anda pildi ja lasta kirjeldada pildil olevaid objekte või luua tekstile vastava pildi. Sellise tehisaru tarbeks on vaja väga suuri andmestikke, kus on paarikaupa pildid ja tekst, põhimõtteliselt kasutatakse kõiki internetis saadaval olevaid pilte ja nende kirjeldusi. Samalaadset meetodit, kus tehisaru mudeli abil viiakse heli, videod, tekst jpm samasse matemaatilisse ruumi, saab rakendada kõne ja videote mõistmiseks ja loomiseks. Niisugust tehisaru, mis suudab korraga analüüsida mitut tüüpi andmestikku, nimetatakse multimodaalseks tehisaruks.
Mitmelaadseid andmestikke ühendav ja nendes seoseid leidev tehisaru on töövahend ka teadlastele. Tehakse katseid, kus tekivad väga keerukad ja suured andmestikud. Näiteks tehakse kaugetest galaktikatest satelliitide abil hulganisti pilte, et määrata nende omadusi ja seejärel uurida tumeainet ja tumeenergiat. Selleks et astrofüüsikalisi andmeid paremini analüüsida, on füüsikud ja informaatikud pakkunud tehisaru meetodi, kus eri tüüpi mõõteandmed sisestatakse mudeli abil samasse matemaatilisse ruumi. Kõnealusel juhul tehti seda galaktikatest tehtud piltide ja nendele vastavate spektritega. Nõnda treenituna õpib tehisaru, kuidas galatikate pilte ja nende spektreid füüsikaliselt ja matemaatiliselt sisukalt samas ruumis kujutada. Nüüd võib nendele piltidele ja spektritele vastavate vektoritega analoogias juturoboti küsimuste- ja vastustepaaridega lahendada ära uusi ülesandeid, näiteks masinõppe abil määrata galaktika pildi või spektri põhjal tema omadusi. Niimoodi suurte andmestike põhjal sobitatud galaktikate ja nende spektrite vektorid on autorite sõnul palju teaberikkamad kui varem väikeste andmestike põhjal koostatud.
Simonsi instituudi teadlaste pakutud AstroCLIP-i mudel oskab panna galaktikate pildid ja nendele vastavad spektrid ühtsesse matemaatilisse ruumi. See tähendab, et tehisaru õpib statistilisel tasemel neid andmeid seostama. ALLIKAS: ARXIV.ORG/PDF/2310.03024
Eestlaste osalusel valminud tehisarumudelid osakestefüüsikas
Suurte keelemudelite tehnoloogia abil saab täpsemaks muuta ka osakestefüüsika andmeanalüüse. Üks osakestefüüsika põhiülesandeid on eristada eri tüüpi osakesi selle põhjal, kuidas ja milleks nad lagunevad. Näiteks võib Higgsi bosoni lagunemisel tekkida tau-lepton, mis on justkui väga kogukas ja ebastabiilne elektron. Tau-lepton omakorda võib juhuslikult laguneda eri tüüpi osakeste kombinatsioonideks, näiteks üheks laetud hadroniks, üheks laetud hadroniks koos neutraalse osakesega, kolmeks laetud hadroniks jne. Neid lagunemisi tuleb statistiliselt eristada juhuslikest kombinatsioonidest, kus mõni muu osake peale tau-leptoni on jätnud samalaadse jälje. Samamoodi nagu keelemudel on teksti põhjal õppinud ära sõnade matemaatilise esituse saab tehisaru mudelile ette anda väga suure osakeste andmestiku. Selle põhjal õpib mudel kujutama osakesi ja nendevahelisi seoseid matemaatilises ruumis. Ilmneb, et kui mudel on õppinud ära seosed, siis on võimalik teda kerge vaevaga treenida lahendama uusi ülesandeid, näiteks uurima tau-leptoni lagunemist. Eesti teaduse tippkeskuse Fundamentaalne Universum (hõlmab keemilise ja bioloogilise füüsika instituudi, Tartu ülikooli ja Tallinna tehnikaülikooli teadlasi) ning Hamburgi ülikooli teadlaste koostöös on loodud tau-leptonite analüüsi mudel, mis võib tulevikus muuta Higgsi bosoni analüüsid täpsemaks.
Tehisaru abil saab osakestefüüsika põrkeandmete rekonstrueerimise muuta täpsemaks ja kiiremaks.