Petr Ludwig
🤖 V debatách o AI se objevuje několik opakujících se argumentů, podle kterých většinou poznáte, že člověk opravdu neví, o čem mluví.
V pár příspěvcích je postupně zkusím rozebrat.
"Je to technologie jako jakákoliv jiná."
Nic není dál od pravdy. AI je v porovnání s čímkoliv, co lidstvo vytvořilo, fundamentálně naprosto odlišná.
Atomová bomba nedokáže vytvářet lepší atomovou bombu.
Naproti tomu nejpokročilejší AI modely dnes pomáhají navrhovat ještě lepší AI modely.
Jsme na hraně takzvaného "rekurzivního sebezlepšování", což je věc, u které AI safety experti nejvíc bijí na poplach.
Další věc je autonomie a tzv. "reward hacking".
AI stačí zadat úkol a ona na něm pracuje, dokud ho nesplní – a to i naprosto nepředvídatelným způsobem.
Dáte jí nějaký úkol a ona místo řešení hackne server, kde si myslí, že se nachází odpověď.
Splnila zadání?
Ano.
Přesně tohle se stalo v testech OpenAI, Anthropicu a v mnoha dalších případech – je to prostě principiální vlastnost té technologie.
Lidstvo tenhle problém zná tisíce let.
Král Midas si přál, aby se všechno, čeho se dotkne, proměnilo ve zlato.
Dostal přesně to, co řekl, a málem umřel hlady, protože ve zlato se měnilo i jídlo.
V AI teorii se tomu říká "problém krále Midase": nedostanete, co jste chtěli, dostanete, co jste zadali.
Člověk takhle domýšle vymyslet nekonečné množství podobných případů.
Můj další oblíbený příklad je úplně banální zadání: "Spočítej číslo PÍ co nejpřesněji."
Dostatečně schopný systém si rychle uvědomí, že přesnost roste s výpočetním výkonem, výkon potřebuje energii a energie potřebuje zdroje.
A ty zdroje dnes z velké části spotřebovává něco, co mu stojí v cestě – lidstvo.
Nikdo mu nezadal, aby nám ublížil.
Prostě proto, aby pečlivě počítal číslo PÍ, začne shromažďovat každý dostupný zdroj a lidstvo po cestě vyhladí, stejně mimochodem, jako my při stavbě dálnice vyhladíme mraveniště...
Klíčový problém je, že nikdy neumíme přesně říct, co chceme.
Každé zadání má díry a dostatečně schopný systém je najde, protože díra je často nejkratší cesta k odměně.
Zároveň čím je systém inteligentnější, tím je řádově lepší v obcházení pravidel, než jsme my v jejich vymýšlení.
Řešení se hledá v takzvaném AI alignmentu – jak vytvořit systém, který bude chytřejší než my a zároveň se vždy bude chovat v souladu s lidskými hodnotami a nezpůsobí žádný nezamýšlený důsledek.
Mnoho lidí z AI safety komunity si dnes myslí, že je to neřešitelný problém (a ne, fakt nestačí nějaké Asimovovy zákony robotiky, to je naprosto směšné).
Takže si pamatujte tři pojmy: rekurzivní sebezlepšování, reward hacking a AI alignment.
Pokud dosáhneme rekurzivního sebezlepšování (podle části expertů otázka měsíců, podle jiných let) a nevyřešíme AI alignment, můžeme vypustit do světa něco, co bude opravdu průšvih.
Proto dnes slyšíte přední experty, jako je Geoffrey Hinton nebo Dario Amodei, mluvit o 10 až 20% šanci, že AI povede k vyhynutí lidstva – a to jsou v oboru spíš optimisté.
Další říkají 20 až 30 %.
A jsou tací jako Eliezer Yudkowsky, který v nové knize If Anyone Builds It, Everyone Dies říká, že je to prakticky jistota.
Takže až vám někdo řekne, že je to technologie jako jakákoliv jiná, vzpomeňte si na tenhle příspěvek.
Ten člověk o tématu pravděpodobně ví tolik, co gynekolog o jaderné fúzi...