Petr Ludwig
🤖 AI a autonomní hacking
Když se objeví nějaké nové případy selhání bezpečnosti a autonomního hackování frontier AI modely, přijde skupina lidí, kteří začnou říkat, že je to „jen marketing“, a začnou to tím zlehčovat…
Jsou toho ty modely schopné?
Ano, již dnes.
Proč to nevidíme častěji?
Protože přední AI laboratoře se tomu snaží zabránit a mají mnoho vrstev ochrany.
Zkuste svému ChatGPT či Claude říci, ať se zkusí nahackovat do vaší banky.
Hádám, že to neudělá.
S vypnutými pojistkami – což je většina těch medializovaných případů – to udělá stejně nadšeně, jako vám vypíše recept na svíčkovou.
Hlavní problém je ale jinde.
Přichází nová vlna open weight modelů, např. nový Kimi K3, které dosahují podobných schopností jako americké frontier modely a bezpečnostní pojistky jim chybí.
Model můžete zprovoznit na svých zařízeních – pokud máte dostatečný výpočetní výkon, model můžete upravit a dotrénovat.
🔮 Jsem tedy přesvědčen, že v blízké budoucnosti uvidíme častěji nějaké závažnější problémy – útok na bankovní systémy či kritickou infrastrukturu vedený právě těmito open weight modely.
Hádám, že zlí aktéři typu Írán a Rusko už na tom teď pracují.
Budou se také množit tzv. "ransom" útoky na malé a střední firmy, kde vám takový AI agent zašifruje data a bude chtít výkupné v nějaké kryptoměně.
Za tu si pak koupí větší výpočetní výkon k efektivnějším útokům v budoucnu.
K tomuto typu rizik nepotřebujete žádnou superinteligenci.
Dělí nás řád měsíců od doby, kdy to budou tyto open modely hravě zvládat.
Ti, co říkají, že je to „marketing“, pak budou opět koukat jak vrány a začnou plynule zlehčovat další riziko.
A ti, co na to dneska upozorňují a jsou za alarmisty, pak budou zase říkat, že vám to říkali…