Įvairių dydžių kalbos modelių našumo ir energijos vartojimo efektyvumo analizė

Santrauka

Dirbtinio intelekto poveikis našumui yra vis labiau tiriamas. Atliekami tyrimai apie kalbos modelių naudojimą, naudą, trūkumus ir našumą įvairiose srityse. Dabartiniuose tyrimuose pradeda ryškėti mažų ir didelių kalbų modelių skirtumai. Tačiau vis dar yra sričių, kurias reikia tobulinti techninės įrangos efektyvumo ir energijos suvartojimo požiūriu. Siekiant prisidėti prie šios srities, šiame tyrime analizuojami įvairūs dideli ir maži kalbų modeliai, remiantis energijos vartojimo efektyvumu, matuojant jų našumo ir techninės įrangos metrikas. Septyni skirtingi kalbos modeliai, atrinkti pagal jų dydį, buvo analizuojami remiantis įvairiais rodikliais. Programose buvo naudojamas RAG metodas, kuris apima DI pateikimą duomenų rinkiniu ir jo atsakymą tik remiantis tais duomenimis. Buvo sukurtas mini duomenų rinkinys ir matavimai atlikti naudojant šį duomenų rinkinį. Kiekvienam kalbos modeliui buvo naudojamas tas pats duomenų rinkinys. Šioje analizėje, atliktoje naudojant Python programavimo kalbą ir paketus, modelių anglies dioksido išmetimas veikimo metu buvo matuojamas naudojant „CodeCarbon“. Šis rodiklis yra svarbus energijos vartojimo efektyvumui matuoti. Be to, buvo matuojamas bendras modelių intelektas, sąžiningumas, greitis, TPS, GPU atminties naudojimas ir vidutinės paimtos vertės. Remiantis šiomis vertėmis, buvo padarytos išvados iš analizės rezultatų. Kiekvienam analizuotam rodikliui ir kalbos modeliui buvo atlikti analizės rezultatai, įvertinti atskirai. Rezultatai rodo, kaip energijos vartojimo efektyvumas gali skirtis priklausomai nuo kalbos modelių dydžio ir našumo rodiklių. Tikslas buvo atlikti tyrimą, kaip modeliai galėtų veikti efektyviau ir kaip tobulėti tvaraus dirbtinio intelekto srityje.