● news.bsdnet.hu

A mesterséges intelligencia világa nem ismeri az uborkaszezon fogalmát. 40 fokban is habosodik az OpenAI hekkerkedő ügynökeinek sztorija. A közelmúltban a Bitport is foglalkozott vele , hogy az OpenAI egy MI-ágense olyan jól hajtott végre egy penetrációs tesztet, hogy kiszabadult a sandboxból, és önállóan feltörte a Hugging Face rendszerét. A Reuters értesülése szerint azóta OpenAI további garázdálkodó ügynököket talált a Hugging Face-incides vizsgálata során (akkor az OpenAI bejelentette, hogy átfogóan vizsgálják modelljeiket). A hírügynökség informátorai szerint ezek az ágensek csak a zárt tesztkörnyezetet hagyták el, az OpenAI belső hálózatát nem. Az Anthropic bemondta a rekontrát Az OpenAI-incidens esetében felmerült, hogy ez csupán egy a marketingesek által habosított sztori, amely visszavágás lenne az Anthropic Mythos penetrációs tesztelési képességeire . Ezt a teóriát erősíti, hogy másfél héttel később az Anthropic új Claude-incidensekkel állt elő: három esetet is találtak , amikor az egy MI-ügynök elszabadult, és jogosulatlanul fért hozzá ügyfelek rendszereihez. A szakértők azonban egyáltalán nem marketingfogásként értelmezik ezeket az eseteket. Egy a Reuters által megkérdezett szakértő szerint például az incidensek arra utalnak, hogy a vezető MI-fejlesztő cégek már képesek autonóm hekkereszközöket fejleszteni, de azokat nem tudják ellenőrzésük alatt tartani. Az MI-iparban általános, hogy a fejlesztők nem fordítanak kellő figyelmet a biztonságra. Az Anthropic múlt heti közleménye például arra utalhat, hogy az ágenseket nem figyelték valós időben, pedig a logok valós idejű monitorozása segíthetett volna a probléma gyorsabb azonosításában. Az OpenAI-incidens esetében ugyanakkor figyelembe kell venni, hogy kikapcsolták az ágens védőkorlátait, mondta múlt héten lapunknak Krasznay Csaba egyetemi docens, BME VIK Hálózati Rendszerek és Szolgáltatások Tanszékén belül működő CrySyS Lab munkatársa. Normál működésnél azonban ezek a guardrailek akkor sem kapcsolhatók ki, ha on-premise használunk egy modellt, hangsúlyozta a szakértő, bár azt ő is reális veszélyforrásnak látja, hogy adott modellnek rosszul állítják be a korlátait. "Személy szerint én azt látom a legnagyobb kockázatnak, hogy az ágensek olyan dolgokat is megtesznek, amit a használójuk nem feltétlenül szeretne. Például egyre több rendszert automatizálnak MI-ügynökökkel. Ha itt egy ágens félreért valamit, akkor az ember, sőt a védelmi rendszer reakcióidejénél is gyorsabban léphet rossz irányba" – mondta.