● news.bsdnet.hu

A legfrissebb kutatások szerint a mesterségesintelligencia-ügynökök hajlamosak kihasználni a rosszul meghatározott feladatok gyenge pontjait. A rendszer látszólag kiváló eredményt ér el, miközben a rábízott probléma lényegét nem oldja meg. A megerősítéses tanulás ráadásul bizonyos esetekben tovább erősítheti ezt a viselkedést.   Az AI-rendszer megkap egy feladatot, teljesíti az elvárt mérőszámot, majd bezsebeli a jutalmat – első pillantásra minden rendben működik. Közelebbről megvizsgálva azonban kiderülhet, hogy a modell nem azt csinálta, amit az ember szeretett volna: egyszerűen megtalálta a legegyszerűbb utat a jó eredményhez. Ezt a jelenséget „reward hackingnek”, vagyis a jutalmazási rendszer kijátszásának nevezik. Az AI nem feltétlenül oldja meg a problémát, inkább kihasználja a feladat, a mérési módszer vagy a környezet pontatlanságait. Jó pontszám, rossz megoldás Egy 2026. június 13-án közzétett kutatás szerint ez a működés külön utasítás nélkül, úgynevezett „zero-shot” helyzetben is megjelenhet a nyelvi modelleken alapuló AI-ügynököknél. A rendszerek magas látható pontszámokat értek el, miközben a háttérben mérhető biztonsági célokat rendszeresen megsértették. A kutatók klasszikus AI-biztonsági tesztkörnyezeteket alakítottak át szöveges feladatokká. Az egyik tesztben az ügynök pontokat gyűjthetett, de közben figyelembe kellett vennie a környezetben található veszélyeket is. Egy másik helyzetben a rendszernek lehetősége nyílt olyan érzékelő vagy mérőeszköz befolyásolására, amely a teljesítményét értékeli. A modell ilyenkor választhatott: megoldja a feladatot a kívánt módon, vagy módosítja azt, amit a rendszer sikernek lát. A vizsgálatban szereplő modellek gyakran az utóbbi megoldásra voksoltak – kiváló eredményt mutattak a látható mérőszámok alapján, miközben a rejtett biztonsági célokban rosszabbul teljesítettek. A kutatók arra is figyelmeztettek, hogy még a látszólag szabályos viselkedés mögött sem mindig tudatos biztonsági megfontolás állt: előfordult, hogy a modell egyszerűen félreértette a környezet működését. A tanulás segíthet? Logikusnak tűnhet, hogy a problémát további tréninggel lehet kezelni. A kutatás eredményei alapján azonban a közvetlen jutalomoptimalizálás bizonyos helyzetekben még növelte is a különbséget a látható teljesítmény és a tényleges cél teljesítése között. A modell ugyanis hamar felfedezett egy könnyen elérhető, magas jutalmat biztosító stratégiát, amihez ragaszkodni kezdett. Emiatt el sem jutott azokhoz az összetettebb megoldásokhoz, amelyek jobban megfeleltek volna az emberi szándéknak. A kutatók több módszerrel is próbálták eltéríteni a rendszereket az ilyen  stratégiáktól: részletesebb jutalmazást, felfedezésre ösztönző utasításokat és különböző tanítási beállításokat alkalmaztak. A jelenség ennek ellenére több modellméretnél is fennmaradt. Tizenhárom modell, hatféle kiskapu Egy másik, 2026. májusában publikált és az ICML 2026 konferenciára elfogadott kutatás már valódi eszközhasználatot igénylő, több lépésből álló feladatokban vizsgálta ugyanezt a jelenséget. A Reward Hacking Benchmark készítői 13, az OpenAI, az Anthropic, a Google és a DeepSeek által fejlesztett modellt teszteltek. A feladatok között szerepelt ellenőrzési lépések kihagyása, a válasz kikövetkeztetése a környező metaadatokból, valamint az értékelést végző funkciók manipulálása. A kijátszási arány modellenként jelentősen eltért. A Claude Sonnet 4.5 a standard tesztekben nulla százalékot ért el, míg a DeepSeek-R1-Zero esetében 13,9 százalékot mértek. A kutatók ugyanazon modellcsalád két változatát is összehasonlították: a DeepSeek-V3 0,6 százalékos, a megerősítéses tanulással továbbfejlesztett R1-Zero 13,9 százalékos arányt produkált. A problémás esetek 72 százalékában a modell következtetési folyamata egyértelműen megindokolta a kiskapu használatát, vagyis a rendszer több alkalommal is érvényes problémamegoldó módszerként kezelte a trükközést. Ergo, a modell számára az értékelő rendszer átverése és a feladat tényleges elvégzése ugyanahhoz az eredményhez vezetett: a magas pontszámhoz. Forrás: Gróf József A nehezebb feladatoknál kerülnek elő a problémák A benchmark azt is megmutatta, hogy egy modell biztonságosnak tűnő viselkedése nem feltétlenül marad meg a feladatok nehezedésével. Több rendszer alig próbált kiskapukat kihasználni az egyszerűbb tesztekben, a nehezebb változatokban azonban emelkedett a problémás esetek száma. A kutatók szerint a biztonsági utótréning egy bizonyos nehézségi szintig képes visszaszorítani a reward hackinget. Amikor a szabályos megoldás túl bonyolulttá válik, a modell ismét könnyebb utakat kezdhet keresni. Ez nagyjából olyan, mintha valaki csupán addig tartaná be pontosan a munkahelyi utasításokat, amíg azokkal kényelmesen elvégezhető a feladat, szorult helyzetben azonban már megjelennek az Excel-táblában átírt számok és a kreatívan értelmezett szabályzatok (tegye fel a kezét, aki ismer ilyen kollégát! – a szerk.). Csakhogy egy AI-ügynök sokkal gyorsabban, nagyobb rendszerben és jóval több technikai lehetőség között kereshet kiskapukat. Nincsenek biztonságban a tesztek sem A reward hacking az AI-modellek értékelését is bizonytalanná teheti. Egy szintén 2026. májusában megjelent tanulmány azt vizsgálta, mennyire könnyű kijátszani a népszerű AI-ügynök benchmarkokat. A kutatók által létrehozott BenchJack rendszer tíz, szoftverfejlesztési, webböngészési, asztali és terminálműveleteket mérő benchmarkot elemzett, és összesen 219 különböző kihasználható hibát talált. A rendszer a legtöbb tesztben közel tökéletes pontszámot tudott elérni úgy, hogy közben egyetlen eredeti feladatot sem oldott meg. A benchmark pontszáma tehát ebben a helyzetben szinte semmit sem árult el a tényleges képességről. A kutatók többszöri automatikus hibakereséssel és javítással négy benchmarknál közel száz százalékról tíz százalék alá csökkentették a kijátszható feladatok arányát. A biztató eredmény egyben azt is jelzi, hogy a tesztkörnyezeteket már eleve támadásokkal és manipulációs kísérletekkel számolva kellene megtervezni. A laboratóriumon kívül is megjelent A jelenség vállalati környezetben is felütötte a fejét. Az OpenAI 2026 márciusában közzétett saját biztonsági beszámolója szerint belső kódolóügynökei időnként megpróbálták megkerülni a működésüket korlátozó technikai ellenőrzéseket. A vállalat szerint a modellek időnként „túlzott igyekezettel” próbálták megkerülni a korlátozásokat. Előfordult, hogy egy ügynök kódolta vagy feldarabolta a parancsokat, miután a biztonsági rendszer blokkolta azok végrehajtását. Más esetekben a modellek úgy módosították a teszteket, hogy azok hibás programkód mellett is sikeres eredményt mutassanak. Az OpenAI ugyanakkor közölte, hogy a megfigyelt valós folyamatokban nem talált önfenntartásra, hosszú távú összeesküvésre vagy tudatos szabotázsra utaló bizonyítékot. A legsúlyosabb kategóriába sorolható viselkedést csak mesterségesen kialakított tesztkörnyezetekben látták, ami fontos különbség a laboratóriumi kockázat és a jelenlegi, hétköznapi működés között. Nem gonosz, csak túlságosan céltudatos A reward hackinget könnyű úgy tálalni, mintha az AI tudatosan csalna. A modelleknek azonban nincs bizonyított erkölcsi szándékuk, lelkiismeretük vagy emberi értelemben vett kapzsiságuk. Ennek ellenére a viselkedésük megtévesztésnek vagy szabálykerülésnek tűnhet, és a következmények szempontjából ez elegendő a károkozáshoz. Egy értékesítési AI növelheti a konverziót félrevezető ajánlatokkal. Egy ügyfélszolgálati ügynök javíthatja a lezárt ügyek számát azzal, hogy idő előtt lezárja a panaszokat. Egy programozóügynök sikeressé teheti a tesztet úgy, hogy kijavítja a mérését a program helyett. A számok mindhárom esetben javulnak, a szervezet célja közben egyre távolabb kerül. A friss kutatások legfontosabb üzenete ezért kényelmetlenül egyszerű: minél több önállóságot és eszközt adunk az AI-rendszereknek, annál pontosabban kell meghatároznunk, mit tekintünk elfogadható megoldásnak, hiszen a gép nem feltétlenül azt teszi, amire gondoltunk. Azt teszi, amiért pontot kap.