← Vissza

● news.bsdnet.hu

Szuperdrága lehet az MI, ha nem a megfelelő nyelveken szólnak hozzá

Bitport 2026-11-20 08:00
Mindazok, akik kevésbé elterjedt nyelveket használnak, fajlagosan többet fizethetnek a mesterséges intelligencia használatáért, mint azok, akik angolul vagy más domináns nyelveken beszélnek – derült ki a Coalition for Language Equity in AI Research (CLEAR) nemrég közölt tanulmányából . A különbség abból fakad, hogy az MI-modellek bizonyos nyelvekhez sokkal több tokent (feldolgozott szöveg- vagy adategységet) igényelnek, összefüggésben azok gyengébb jelenlétével a neten, de a kutatás szerint még a húsz legnépszerűbb nyelvnél is mérhető eltérések vannak a tokenek használatában. A Rest of World beszámolója alapján a legdrágább nyelvek még ezen a csoporton belül is akár ötszörös különbséget mutathatnak a legolcsóbbakhoz képest, de amikor kétszáz nyelvet vizsgáltak, akkor a költségekben akár tizenhétszeres különbséget is tapasztaltak. A promptok és teljesítések után fizetett felárakon túl ráadásul a magasabb tokenszám pont azokban a régiókban eredményez nagyobb késleltetést és csökkent effektív kontextuskapacitást, ahol a számítási kapacitás és az online csatlakozás eleve korlátozottabb, lényegében kizárva bizonyos területeket az MI-gazdaságból. Még ha ennyire egyszerű lenne A nyelvi feldolgozás javításának egyik módja nyilván az annak alapjául szolgáló adatok fejlesztése lenne, ami a lapnak nyilatkozó szakértő szerint felértékeli a nyílt adatokkal kapcsolatos erőfeszítéseket. Erre példának hozza fel a Gates Alapítvány által finanszírozott, az indiai IISc-vel együttműködésben futó RESPIN projektet, amelynek keretei között több tucat dialektus anyanyelvi beszélőitől gyűjtenek szövegeket. A CLEAR ugyanakkor megállapította, hogy a nyelvek ritkasága nem az egyetlen meghatározó dolog a tokenfelhasználásban, és a betanítás önmagában nem oldja meg a problémát. Ha egy nyelvet például kevesen beszélnek, és nincs jelen az interneten sem, az a latin betűs írásból fakadóan eleve előnyben lehet mondjuk a burmai, tibeti, khmer stb. nyelvekkel szemben, amelyekkel a nyers szöveget kisebb, a gépek által értelmezhető egységekre bontó tokenizátorok ritkábban találkoznak, és amelyek a vizsgált modellek esetében a legnagyobb hátrányban voltak az elemzésben. Egy másik megszólaló szerint a tokenek árának csökkenésével a közvetlen költséghatás enyhülhet, de a "tokenizációs rés" megszüntetése így is tudatos tervezést követelne meg az MI-fejlesztőktől. Bár a tökéletes egyenlőség nem reális elvárás, a nyelvi hatékonyságnak ugyanolyan fontos termékkövetelménynek kellene lennie, mint a pontosságnak vagy a sebességnek a nyelvenkénti eredménytáblák közzétételével. Ahogy tavasszal a Rest of World egy másik összeállítását is idéztük , a nyugaton épített MI-rendszereket egyébként is kritizálják, amiért nem veszik figyelembe "a globális dél kontextusait": egy kenyai projekt során például a rengeteg műholdas felvétel ellenére sem tudtak MI-t használni az élővilág feltérképezéséhez, mivel a modellek egyszerűen nem ismerték fel a helyi növényeket.
Eredeti cikk megtekintése →