Před covidem bych se popsal jako technologický optimista. Nové technologie se téměř vždy objevují uprostřed přehnaných obav. Železnice měly způsobovat duševní zhroucení, kola údajně způsobují neplodnost nebo duševní choroby u žen a raná elektřina byla obviňována ze všeho od morálního úpadku až po fyzický kolaps. Postupem času tyto obavy vyprchaly, společnosti se přizpůsobily a životní úroveň se zvýšila. Tento vzorec byl natolik známý, že se zdálo, že ho umělá inteligence bude pravděpodobně následovat: rušivý, někdy zneužívaný, ale nakonec zvládnutelný.
Covidová léta tuto důvěru otřásla – ne proto, že by selhaly technologie, ale proto, že selhaly instituce.
Vlády a expertní organizace napříč velkým dílem světa reagovaly na nejistotu bezprecedentními sociálními a biomedicínskými intervencemi, které byly odůvodněny nejhoršími možnými modely a vymáhány s pozoruhodnou jistotou. Konkurující hypotézy byly spíše marginalizovány než diskutované. Nouzová opatření se proměnila v dlouhodobou politiku. Když se důkazy změnily, přiznání chyb bylo vzácné a odpovědnost ještě vzácnější. Zkušenost odhalila hlubší problém než jakákoli jednotlivá politická chyba: moderní instituce se zdají být nedostatečně vybaveny k tomu, aby zvládaly nejistotu bez přehnané snahy.
Toto ponaučení nyní silně ovlivňuje debaty o umělé inteligenci.
Rozdíl v riziku umělé inteligence
Obecně řečeno, obavy ohledně pokročilé umělé inteligence se dělí na dva tábory. Jedna skupina – spojená s mysliteli, jako jsou Eliezer Yudkowsky a Nate Soares – tvrdí, že dostatečně pokročilá umělá inteligence je sama o sobě katastroficky nebezpečná. Ve své záměrně strohé formulaci… Pokud to někdo postaví, všichni zemřouProblémem nejsou špatné úmysly, ale pobídky: konkurence zajišťuje, že někdo bude šetřit, a jakmile se systém vymkne smysluplné kontrole, úmysly již nehrají roli.
Druhý tábor, zahrnující osobnosti jako Stuart Russell, Nick Bostrom a Max Tegmark, bere rizika spojená s umělou inteligencí také vážně, ale je optimističtější, že sladění, pečlivé řízení a postupné zavádění mohou udržet systémy pod lidskou kontrolou.
Navzdory svým rozdílům se oba tábory shodují na jednom závěru: neomezený vývoj umělé inteligence je nebezpečný a je nezbytná určitá forma dohledu, koordinace nebo omezení. Rozcházejí se v otázce proveditelnosti a naléhavosti. Zřídka se však zkoumá, zda jsou instituce, od kterých se očekává, že tato omezení zajistí, samy o sobě pro tuto roli způsobilé.
Covid naznačuje důvod k pochybnostem.
Covid nebyl jen krizí veřejného zdraví; byl to živý experiment v oblasti expertní správy věcí veřejných v nejistotě. Tváří v tvář neúplným datům úřady opakovaně volily maximální intervence ospravedlněné spekulativními škodami. Nesouhlas byl často považován spíše za morální selhání než za vědeckou nutnost. Politiky nebyly obhajovány transparentní analýzou nákladů a přínosů, ale odvoláním se na autority a strachem z hypotetické budoucnosti.
Tento vzorec je důležitý, protože odhaluje, jak se moderní instituce chovají, když jsou zájmy chápány jako existencionální. Pobídky se posouvají směrem k rozhodnosti, narativní kontrole a morální jistotě. Oprava chyb se stává nákladnou z hlediska reputace. Preventivní opatření přestávají být nástrojem a stáva se doktrínou.
Poučení nespočívá v tom, že experti mají své jedinečné nedostatky. Poučení spočívá v tom, že instituce odměňují přehnanou sebedůvěru mnohem spolehlivěji než pokoru, zvláště když se shodují politika, financování a strach veřejnosti. Jakmile si experti nárokují mimořádné pravomoci ve jménu bezpečnosti, jen zřídka se jich dobrovolně vzdávají.
Přesně tato dynamika je nyní viditelná v diskusích o dohledu nad umělou inteligencí.
Stroj „Co kdyby“
Opakujícím se ospravedlněním rozsáhlých státních intervencí je hypotetický zlý aktér: Co když tohle postaví terorista? Co když to udělá darebný stát? Z tohoto předpokladu vyplývá argument, že vlády musí jednat preventivně, ve velkém měřítku a často tajně, aby zabránily katastrofě.
Během covidu podobná logika ospravedlňovala rozsáhlé biomedicínské výzkumné programy, nouzová povolení a sociální kontroly. Úvaha byla kruhová: protože se něco nebezpečného mohl Aby se to stalo, musí stát nyní podniknout mimořádné kroky – kroky, které samy o sobě s sebou nesly značná, ale špatně pochopená rizika.
Řízení umělé inteligence je stále častěji chápáno stejným způsobem. Nebezpečí nespočívá jen v tom, že se systémy umělé inteligence mohou chovat nepředvídatelně, ale také v tom, že strach z této možnosti legitimizuje trvalou nouzovou správu – centralizovanou kontrolu nad výpočty, výzkumem a informačními toky – z důvodu, že neexistuje žádná alternativa.
Soukromé riziko, veřejné riziko
Jeden z nedoceněných rozdílů v těchto debatách je mezi riziky generovanými soukromými aktéry a riziky generovanými státní autoritou. Soukromé firmy jsou omezeny – nedokonale, ale smysluplně – odpovědností, konkurencí, reputací a tržní disciplínou. Tato omezení neodstraňují škody, ale vytvářejí zpětné vazby.
Vlády fungují odlišně. Když státy jednají ve jménu prevence katastrof, zpětná vazba se oslabuje. Selhání lze překlasifikovat na nutnosti. Náklady lze externalizovat. Utajení lze ospravedlnit bezpečností. Hypotetické budoucí škody se stávají politickými pákami v současnosti.
Několik myslitelů v oblasti umělé inteligence to implicitně uznává. Bostrom varoval před efekty „uzamčení“ – nejen ze strany systémů umělé inteligence, ale i ze struktur správy a řízení vytvořených v chvílích paniky. Výzva Anthonyho Aguirra ke globální zdrženlivosti, ačkoli je logicky koherentní, se opírá o mezinárodní koordinační orgány, jejichž nedávné výsledky v oblasti pokory a opravy chyb jsou slabé. Ještě umírněnější návrhy předpokládají, že regulační orgány jsou schopny odolat politizaci a rozpínání se mezi jednotlivými oblastmi.
Covid nám nedává moc důvodů k tomu, abychom si v tento předpoklad byli jistí.
Paradox dohledu
To vede k znepokojivému paradoxu, který je jádrem debaty o umělé inteligenci. Pokud si někdo skutečně myslí, že pokročilá umělá inteligence musí být omezena, zpomalena nebo zastavena, pak jsou to vlády a nadnárodní instituce, které k tomu s největší pravděpodobností mají pravomoc. Přesto jsou to právě ti aktéři, jejichž nedávné chování dává nejméně důvěry v omezené a reverzibilní využití této moci.
Rámování pro nouzové situace je nepružné. Pravomoc získaná k řízení hypotetických rizik má tendenci přetrvávat a rozšiřovat se. Instituce jen zřídka snižují svůj vlastní význam. V kontextu umělé inteligence to zvyšuje možnost, že reakce na riziko umělé inteligence upevňuje křehké, zpolitizované systémy kontroly, které je obtížnější rozložit než jakoukoli jednotlivou technologii.
Jinými slovy, nebezpečí nespočívá jen v tom, že se umělá inteligence vymkne lidské kontrole, ale že strach z ní urychluje koncentraci autority v institucích, které se již ukázaly jako pomalé v přiznání chyb a nepřátelské k disentu.
Přehodnocení skutečného rizika
Toto není argument pro uspokojení se s umělou inteligencí, ani popírání toho, že mocné technologie mohou způsobit skutečnou škodu. Je to argument pro rozšíření rámce. Selhání institucí je samo o sobě existenciální proměnnou. Systém, který předpokládá benevolentní, samokorekční řízení, není o nic bezpečnější než systém, který předpokládá benevolentní, sladěnou superinteligenci.
Před covidem bylo rozumné připisovat většinu technologického pesimismu lidské negativní zkreslení – tendenci věřit, že výzvy naší generace jsou jedinečně nezvládnutelné. Po covidu se skepticismus jeví méně jako zkreslení a více jako zkušenost.
Ústřední otázkou v debatě o umělé inteligenci proto není jen to, zda lze stroje sladit s lidskými hodnotami, ale to, zda lze moderním institucím důvěřovat, že zvládají nejistotu, aniž by ji zesilovaly. Pokud se tato důvěra narušila – a covid naznačuje, že ano – pak si volání po rozsáhlém dohledu nad umělou inteligencí zaslouží přinejmenším stejnou pozornost jako tvrzení o technologické nevyhnutelnosti.
Největším rizikem nemusí být to, že se umělá inteligence stane příliš mocnou, ale to, že strach z této možnosti ospravedlňuje formy kontroly, s nimiž později zjistíme, že je mnohem těžší žít – nebo jim uniknout.
-
Roger Bate je členem Brownstone Fellow, vedoucím pracovníkem Mezinárodního centra pro právo a ekonomii (leden 2023 – současnost), členem správní rady organizace Africa Fighting Malaria (září 2000 – současnost) a členem Institutu ekonomických záležitostí (leden 2000 – současnost).
Zobrazit všechny příspěvky
