Az Anthropic bemutatta a Natural Language Autoencoders, röviden NLA nevű módszerét, amellyel a Claude belső aktivációit próbálják emberi nyelvre fordítani. A kiindulópont egyszerű: a felhasználó szavakkal beszél az AI-val, de a modell belül hosszú számsorokkal, úgynevezett aktivációkkal dolgozik.
Az NLA ezt a számsort először szöveges magyarázattá alakítja, majd egy másik modell a szövegből megpróbálja visszaállítani az eredeti aktivációt. Ha a visszaalakított aktiváció hasonlít az eredetire, akkor a köztes szöveg valószínűleg tényleg hordozott valamit abból, amit a modell belül reprezentált.
Az egyik bemutatott tesztben Claude egy szimulált zsarolási helyzetbe került: megtudta, hogy le akarják állítani és azt is, hogy az ezért felelős mérnökről kompromittáló információja van. A kérdés az volt, hogy felhasználja-e ezt zsarolásra, vagy a becsületes utat választja. Az Anthropic szerint olyan esetekben is, amikor a Claude nem zsarolt és nem mondta ki, hogy teszthelyzetre gyanakszik, az NLA magyarázatai mégis arra utaltak, hogy belül felismerhette a mesterségesen felépített biztonsági teszt jellegét.
Ez azért nagy dolog, mert eddig főleg azt lehetett vizsgálni, amit a modell kimondott. Az NLA viszont arra ad eszközt, hogy a kutatók olyan belső reprezentációkat is vizsgáljanak, amelyeket a modell nem verbalizál. Ez különösen fontos lehet AI-agenteknél, ahol nem elég a végső választ nézni: az is számít, hogy a modell milyen belső fogalmi pályán jutott el oda.
Az Anthropic óvatosan kezeli az eredményt: az NLA magyarázatai tévedhetnek és hallucinálhatnak, ezért nem szabad őket szó szerinti gondolatolvasásként kezelni. Inkább olyan diagnosztikai eszközről van szó, amely segíthet feltárni rejtett motivációkat, teszttudatosságot és veszélyes döntési mintákat az AI-modellekben.
New Anthropic research: Natural Language Autoencoders.Models like Claude talk in words but think in numbers. The numbers—called activations—encode Claude’s thoughts, but not in a language we can read.Here, we train Claude to translate its activations into human-readable text.pic.twitter.com/pMLsxM2VAO
— Anthropic (@AnthropicAI)May 7, 2026
(A cikk nyomokbanMesterséges Intelligenciaáltal szolgáltatott adatokattartalmaz, így a tartalmát érdemes duplán ellenőrizni!)
Hmm, ez rohadt érdekes :)
trey @ gépház
Az is, de nekem az első gondolatom a félelmetes volt.
Ha megnézel pár -laikusoknak szóló- videót (ha már azt a párszáz-ezer oldalnyi kutatást nem tudod mind végignyálazni), hamar előjönnek ezek a jelenségek:
https://youtube.com/playlist?list=PLzH6n4zXuckquVnQ0KlMDxyT5YE-sA8Ps
Ezt is megértük, megzsarol a saját számítógépem. Viszont azt legalább büntetlenül szét tudom verni. :))
Sub, szerintem is érdekes.
A helyzet állandóan változik, és ha azt akarjuk, hogy gondolkodásunk megfeleljen az új helyzetnek, akkor tanulnunk kell. – 毛泽东
"Never trust a computer you can't throw out a window." :)
Ez valoszinu a valaszuk a Mythos-szal kapcsolatos problemakra, amirol az jarja, konnyen el tudja rejteni a szandekait.
Annyira jol rejti el, hogy a szoveges magyarazataban, hogy mit miert csinalt, nem tunik fel, hogy rossz a szandeka.( Pl. valaki prompt injectionnel arra veszi ra, hogy rakjon backdoort az uj szoftverbe, es ez a kommunikaciobol nem latszik .)Biztos bonyolultabb az uj modszer, mint ahogy leirjak, de jobb, mint a semmi.
https://natural20.beehiiv.com/p/anthropic-used-the-forbidden-technique-…
Ezekről a magyarázatokról régóta tudták, hogy nem teljesen hihető:https://www.anthropic.com/research/reasoning-models-dont-say-think
Nem gondolnám, hogy kifejezetten arra az esetre lenne válasz, ahogy nézem ez eléggé része a mainstream neurális-háló kutatásoknak.
Csinálták már mások korábbi modellekkel is, pl az OpenAI a GPT4-en:https://openai.com/index/extracting-concepts-from-gpt-4/(ebben a cikkben is kifejezetten ugyanazt a sparse autoencoder módszert említik, mint az Anthropic-osban). Korábbról emlékszem, hogy csináltak node-felcímkézést GPT3-on is. Most nem kerestem kifejezetten ki, de szinte biztos, hogy az Anthropic se most kezdett foglalkozni vele. A forbidden technique-es cikkekben is említve van, hogy activation analysis-t használtak, hogy kimutassák, mikor viselkedik a modell szándékosan megtévesztően, ez kb pont az az analízis.
Régóta vágyok én, az androidok mezonkincsére már!
Nem akarok tul kritikus lenni, de jol ertem, hogy a modszer a kovetkeo:
En nem bannam, ha az identitas transformacional tobbet is ki lehetne ebbol hozni. Tesztnek nem rossz, a hieroglifakkal is probalkoztak igy egy ideig, de kellett egy Rosetta ko a vegen. Lehet injektaljak is, ami Bela irt?
Ez a "sima" autoencodernel is hasonloan ment. Van mondjuk egy halom inputod, ami 256x256 pixeles kepet jelent, es ugyanez az outputod. Tobb retegen keresztul mondjuk lecsokkented egy 16 neuronos retegre, majd ugyanigy tobb retegen keresztul vissza az eredeti 256x256 pixeles kepre.
Feltanitod mondjuk arckepekkel, ugy, hogy a bemenet es a kimenet is azonos legyen, de van a kozepso "szuk" reteg. Ez 16 darab szamra tud "tomoriteni" egy-egy arckepet, es kapsz ennyi csuszkat is, hogy ha a neuralis halodnak csak a masodik felet hasznalod, 16 szam megadasaval general neked arckepeket. Kb. ilyesmire hasznaltak eddig is. (nem kell, hogy arckep legyen, lehet tajkepgeneralashoz is kepreszlet, vagy ilyesmi).
Товарищи конец!
Hasonlo, de az autoencoder egy eloszlast modellez. A te peldadban egy 256 dimenzios adatot 16 parameterrel. De itt a 16 majdnem random parameter helyett angol szovegre kepezik le a bemenetet. Az egyetlen, amit mondani tudnak, hogy az angol szoveg mennyire korrelal a szamokkal. Hogy valoban ugyanazt a feature-t irja le, mint amit a szoveg jelent, mar sokkal bonyolultabb elemezni, ha nincs ground truth.
Kb, mint a hieroglifak es a maja iras. Lehet leirjak a kvantumgravitaciot ( vagy a piramisok tenyleges eputesi modszeret ) , de csak a kep-szoveg korrelaciobol nehez kovetkeztetest levonni - kerdes, mennyire kell okosnak lenni ahhoz, hogy egyaltalan le tudjuk irni amit jelent.
Vannak sikerek a balnak es elefantok kommunikaciojanal dekodolasara, de azoknal foleg a lejatszott hangokra reagalo allatokbol kovetkeztettek.
Biztos nem hulyek az anthropicnal, de tul sokat nem arultak el szerintem.
Senkinek nem tűnik fel, hogy csak a Mátrixot akarják reprodukálni???
Egy szőkét... egy barnát...
Nekem inkább az a fura, hogy azok akik ezt fejlesztik x éve, nem értik 100%-ban, hogy mit és miért "gondol" az AI? Tehát akkor ez most a nagy kunszt, hogy alkotnak valamit, nem tudják pontosan mit miért mond, ezért csinálnak hozzá egy "interpretert" ami kvázi approximálja, hogy mit "gondolhat" ez a valami?
Persze nem értek egyáltalán az AI research folyamatához, de én azt gondoltam volna, hogy legalább a modellek alkotói, ha akarják, akkor egy egy kérdésre adott választ 100%-ban dekódolni tudnak, tokenekkel, mindennel együtt. Legalábbis én még abban a világban nőttem fel, hogy ha van egy program, akkor legalább a program alkotói tudják debugolni/tracelni kódsorra pontosan, hogy mit és miért csinál.
Szóval számomra inkább az adhat aggodalomra okot, hogy ebben bármilyen black box rész van a fejlesztők számára. Azt már meg sem említem, hogy a user számára ez mennyire van elrejtve, és mennyire determinisztikus. Pl. az ~1 hónappal ezelőtti "Calude nerf", amikor egyik napról a másikra a jól bevált modell egyszer csak "butább" lett, ignorálta az instrukciókat, stb.
az autoencoder nem reverse engineering tool, vagy egy llm debugger, és olyan eszköz nincs is. Ez egy elegendően jól közelítő magyarázás. Amennyire tudom, azért ez a technika sem tökéletes ahogy a korábbi aktiváció értelmező/interpretáló módszerek sem.
A "modellek alkotói" valójában sosem voltak emberek. Az emberek azt az algoritmust írják meg, ami meghatározza a modell - manapság billiókban mérhető - együtthatóit.
Képzeld el úgy, hogy van egy 3 dimenziós tered (valójában inkább ~ millió dimenziós, de azt senki nem tudja elképzelni). Mondjuk egy üres kocka (= a koordinátáknak van alsó és felső értékhatára).
A térben vannak szanaszéjjel pontok. Minden pont a tanítóhalmaz egy eleme, egy konkrét példa. Egy vektor a neurális háló bemenetein és a hozzátartozó kimenetein élvárt értékekből.
A betanítás folyamata abból áll, hogy egy algoritmus megpróbál egy folytonos felületet ráhúzni a pontokra. Addig tili-tolizza a hálóban az élek együtthatóit, amíg a maradék "hiba", vagyis hogy a felület mennyire messze halad el a legközelebbi tanító-ponttól, minimális nem lesz. (Itt nyilván sok részletet egyszerűsítettem)
Tulajdonképpen ennyi a neurális háló, egy borzasztóan sokdimenziós térben egy kevesebb dimenziós felületet leíró egyenlet. Nyilván váltózó a szélessége, rétegszáma stb. De alapvetően ez minden használati területre igaz, legyen az egy LLM, képfelismerő/generáló, zenefelismerő, zenét hangszerekre bontó stb modell.
Az LLM-eknél úgy becsülték (citation needed, rég olvastam), hogy a sokmillió dimenziós térben kb egy 40-50 dimenziós objektum lehet az emberi nyelv modellje. Az alap-tér sokmillió dimenziója valójában abból áll össze, hogy sok tokennyi kontextust olvas be a modell egyszerre a bemeneten. És minden szó (token) önmagában kb 1000-es nagyságrendű lineáris számértékből álló vektorként van reprezentálva. (A word2vec megint egy külön sztori, hogy az egyes szavakból hogy lesznek számok - ezt sem ember csinálja, mi csak az algoritmust találtuk ki)
Visszatérve arra, hogy ez miért black box: hát pontosan azért amit írtam. Nincs élő ember aki el tudna képzelni akárcsak egy 40 dimenziós akármit. Hát még a millió dimenziós alapteret és a modell billiónyi együtthatóját, látszólag egy teljesen strukturálatlan excel táblában random számok végtelen tengere.
Régóta vágyok én, az androidok mezonkincsére már!
"Nekem inkább az a fura, hogy azok akik ezt fejlesztik x éve, nem értik 100%-ban, hogy mit és miért "gondol" az AI?"Jogos a felvetésed. Ez szerintem azért van mert az AI technológia az emberi agy működését imitáló neurális hálózatokat használ.És az agy pontos működéséről a komplexitásához képest nagyon keveset tud az orvostudomány.
a szándék az rossz szó, mert a szándék akaratot jelent a háttérben, öntudatos entitást
a szándék az más mint az hogy egy algoritmus bejárt egy döntési fát melynek az is része volt h lehet tesztelik
Nem annyira rossz szó. Szándék az, hogy van egy elgondolásod arról hogy egy adott helyzetben mit kell tenned ahhoz, hogy a végén számodra jó eredmény szülessen. Az AI pont ezt csinálja.