● news.bsdnet.hu

Nagyon sok matematikus van még az OpenAI Astra modelljének hatása alatt. Az OpenAI tíz ismert matematikai probléma megoldását adta meg , többek között konstruált egy nemszofikus csoportot, illetve megcáfolta Alain Connes megszámlálható csoportok von Neumann-algebráira vonatkozó rigiditási sejtését (ami ugyancsak egy konstrukció, és érdekes módon az ún. T-tulajdonságnak mindkét probléma esetében szerepe van). A Qubiten olvasható egy cikk , amely arról szól, hogy a nemszofikus csoportok konstrukciójában a mesterséges intelligencia megoldása Kun Gábornak, rényis kollégámnak a munkájára épült. Ershov és Jaikin-Zapirain egy tétele hozta be azt a gyűrűelméleti ötletet, amelyet, ha Gábor és Andreas (Thom) ismer, talán maguk is megoldották volna a problémát. Ijesztő, sőt tudományfilozófiai terminológiával kurva ijesztő jelenségről van szó: az AI elkezdett olyan okos lenni, amilyen okosnak nem kellene lennie. Ez a poszt arról szól, hogy miért is kellett Gábor eredménye az AI-nak, és hogy a transzformerarchitektúra – amelyre minden jelenleg működő nagy nyelvi modell épül – milyen érvelési formában verhető meg esetleg, illetve miért is volt szüksége az Astrának Kun Gáborra. Tom Zahavynak, a Google DeepMind kutatójának van egy position paperje erről; ez a rövid poszt részben erre a cikkre épül. Az érvelési formák közül az indukció az, amelyben a transzformer típusú modellek verhetetlenek. Az indukció Samuel Peirce amerikai filozófus szerint (1878) azt jelenti, hogy szabályt keresünk esetek és kimenetelek ismeretében. Tehát, ha tudjuk, hogy bizonyos cukorkák egy zacskóból származnak, és észrevételezzük, hogy ezek eddig mind savanyúcukorkák voltak, azt gondoljuk, hogy a zacskóban savanyúcukor van. Persze lehet, hogy ez nincs így, lehet, hogy van benne néhány mentolos is, de azért általában érdemes erre gondolni. Ez egy statisztikai jellegű hipotézis felállítását jelenti. A transzformer pontosan ezt csinálja. A tanulási folyamat után felállít egy hipotézist arról, hogy ha éppen egy S tokensorozatot lát abban az ablakban, amelyben az elmúlt időszak tokenjei vannak, akkor milyen valószínűségi eloszlás tartozik a következő tokenhez. Ez a varázslat. Ugyanis egyszerű statisztikai módszerekkel öt token után sem fogja megadni a hatodik token eloszlását, hiszen a training setjében soha nem látta egymás mellett ezt az öt tokent. Valamilyen módon, optimalizálva, a transzformer a tréning után legyárt egy hipotézist, amely nyilván „hibás” (a szövegeket nem egy Markov-lánc-szerűség konstruálta, hanem emberek), de brutálisan jól működik, hála az Attention Is All You Need című cikknek, amelynek a Google Scholarban ebben a pillanatban -tehát nem akkor, amikor a kedves Olvasó megnézi – 261 021 idézete van. Azt gondolták, hogy a másik klasszikus peirce-i következtetési formában, a dedukcióban, vagyis a formális levezetésekben, amikor szabályok és esetek ismeretében keresünk eredményt, a transzformerek nem lesznek túl jók. A chain-of-thought módszerekkel azonban a transzformereknek ezt a képességét is bámulatos szintre fejlesztették. Ha tudjuk, hogy a zacskóban savanyúcukrok vannak, és tudjuk, hogy egy cukorka a zacskóból van, akkor biztosak lehetünk benne, hogy az savanyúcukorka. A transzformer is tudja. A formális levezetésekben az elmúlt pár évben óriásit fejlődtek a transzformerek; talán ez volt az AI-forradalom legfélelmetesebb fázisa. A transzformerarchitektúra azonban nem látszik túl jónak az abdukcióra , vagyis arra, amikor kevés megfigyelésből kell jó hipotézisre következtetni. Ez az, amikor szabályt keresünk az esetek és az eredmények mögött. Amikor Barabási azt mondja, hogy skálafüggetlennek tűnő hálózatokat figyelt meg, és szerinte ezek mögött valamilyen preferential attachment-szerű keletkezési ok állhat, akkor az abdukció. Zahavy Einstein általános relativitáselméletét tartja az abdukció legizgalmasabb példájának. Az OpenAI nemszofikus csoportkonstrukciójában van egy nagyon erős abdukciós elem, de ehhez Kun Gáborra volt szüksége. A lehetséges ok, amely a nemszofikusságot okozza, teljesen új konstrukció, de olyan fogalmi elemekre épül, amelyek nem az OpenAI „szellemi teljesítményének” eredményei. Van valami, amit nehéz a transzformerarchitektúrával felépíteni: a valódi világ okos érzékelését. Az Olvasó persze kérdezheti, hogy hol érzékelik a valódi világot a teljesen absztrakt fogalmakkal dolgozó matematikusok. Úgy, hogy érzékelik a problémát, és felépítenek magukban egy folyamatosan változó világot, amelyet gondolkodás közben úgy figyelnek meg, mint egy kémikus a pipettát. Végtelen csoportok és sokdimenziós topologikus terek nem igazán figyelhetők meg érzékszervileg az alapjában véges világunkban, de a matematikusok látják ezeket a csoportokat és topologikus tereket. Körül tudják járni őket, valamiféle érzékelés alakul ki bennük, amellyel meg tudják figyelni őket. A generatív AI-tól ez kissé idegen. Lehet, hogy annak, amit leírtam, nincs sok jelentősége, és a transzformerek a padlóba gyakják – pardon my French – az emberiséget, de talán van még némi remény.