Yra tikimybė, kad sparti neuroninių tinklų plėtra netrukus gali sulėtėti. Kaip rašoma „The Wall Street Journal” pranešime, tokioms bendrovėms kaip „OpenAI” ar „Google” reikia didžiulių duomenų kiekių, kad galėtų mokyti ir tobulinti savo didelės apimties kalbos modelius (GPTM), tačiau problema ta, kad kokybiškų duomenų internete paprasčiausiai nepakanka.
Straipsnio „The Wall Street Journal” autoriai remiasi dirbtinio intelekto specialisto Pablo Villaloboso iš Epoch Research Institute teiginiais. Pasak jo, GPT-4 kalbos modelis buvo apmokytas naudojant 12 trilijonų duomenų žetonų, o jei vadovausimės Šinšilio masteliavimo dėsniais, kitai versijai reikės apie 60-100 trilijonų žetonų. Tačiau viešojoje erdvėje trūksta bent 10-20 trilijonų tinkamos kokybės teksto ir vaizdo duomenų žetonų. Beje, prieš kelerius metus Villalobosas teigė, kad iki 2024 m. vidurio neuroniniams tinklams pritrūks duomenų tolesniam mokymui su 50 % tikimybe. Tuo metu jis prognozavo, kad iki 2026 m. ši tikimybė bus 90 %.
Tyrime teigiama, kad didžioji dalis internete prieinamų duomenų tiesiog netinka dirbtiniam intelektui mokyti, nes juose yra netvarkingas tekstas arba juose nėra naujos informacijos neuroniniams tinklams. Problemą dar labiau apsunkina tai, kad didelės platformos, įskaitant naujienų agentūras ir socialinius tinklus, uždaro prieigą prie savo duomenų ir neleidžia tokioms bendrovėms kaip „OpenAI” jais naudotis.
Pasak „OpenAI” generalinio direktoriaus Semo Altmano, jie kuria naujus neuroninių tinklų mokymo būdus. Yra informacijos, kad bendrovė svarsto galimybę sukurti duomenų vertės vertinimo sistemą, pagal kurią būtų galima mokėti platformoms už juos. Dienraščio „The Wall Street Journal” duomenimis, panašų metodą svarsto ir „Google”. Tuo tarpu „OpenAI” ketina naudoti kalbos atpažinimo įrankį „Whisper” informacijai „išgauti” iš garso ir vaizdo įrašų, kurie yra laisvai prieinami internete.
Bendrovės viduje „OpenAI” svarsto dar vieną būdą apeiti duomenų trūkumą – aukštos kokybės sintetinių duomenų, kurie būtų naudojami tolesniam neuroninių tinklų mokymui, generavimą.
Parašyti komentarą