Sdílení vah z trénování neuronových sítí je nebezpečné

Některé organizace a výzkumníci sdílejí váhy neuronových sítí, zejména prostřednictvím otevřená váha pohyb modeluPatří mezi ně série Llama od Mety, modely Mistral a verze DeepSeek s otevřenou váhou, které slibují demokratizaci přístupu k výkonné umělé inteligenci. To však vyvolává nejen bezpečnostní obavy, ale potenciálně i existenční hrozbu.

Pro informaci, v rámci svého vlastního procesu učení v tomto velmi dynamickém a rychle se vyvíjejícím poli otevřené Pandoriny skříňky jsem napsal několik článků o LLM a umělé inteligenci. Můžete si je přečíst. zde, zde, a zde.

Jakmile pochopíte, co jsou neuronové sítě a jak se trénují na datech, pochopíte také, co jsou váhy (a zkreslení) a zpětné šíření. Abychom byli upřímní, v podstatě jde jen o lineární algebru a násobení matic a vektorů pro výpočet čísel. Konkrétněji řečeno, váha je číslo (obvykle hodnota s plovoucí desetinnou čárkou – způsob zápisu čísel s desetinnými tečkami pro větší přesnost), který představuje sílu nebo důležitost spojení mezi dvěma neurony nebo uzly napříč různými vrstvami neuronové sítě. 

Vřele doporučuji shlédnout videa od 3Blue1Brown pro lepší pochopení a je důležité, abyste to udělali. Instruktážní videa od 3Blue1Brown jsou neuvěřitelně dobrá. 

Začněte s tímto.

A zamiřte k tomuto.

Váhy jsou hodnoty parametrů určené z dat v neuronové síti, které slouží k vytváření predikcí nebo rozhodování a dosažení řešení. Každá váha je instrukce, která síti říká, jak důležité jsou určité informace, například kolik pozornosti věnovat určité barvě nebo tvaru na obrázku. Tyto váhy jsou čísla, která se během trénování dolaďují díky všem těm desetinným tečkám, což pomáhá síti odhalovat vzory. Mezi příklady patří rozpoznání psa na fotografii nebo překlad věty. Jsou klíčové v procesu „myšlení“ neuronové sítě. 

Váhy v neuronové síti si můžete představit jako cesty nejmenšího odporu, které vedou síť k nejlepšímu řešení. Představte si vodu tekoucí z kopce a přirozeně si nachází nejjednodušší cesty k dosažení dna. V neuronové síti se váhy upravují během trénování na datových sadách, aby se vytvořily nejjednodušší cesty pro tok informací, což pomáhá síti rychle a přesně řešit problémy, jako je rozpoznávání vzorců nebo vytváření předpovědí, a to zdůrazněním nejdůležitějších spojení a minimalizací chyb.

Pokud jste elektronický hudebník, představte si závaží, jako jsou knoflíky na vašem analogovém syntezátoru, které vám umožňují naladit se na správnou frekvenci nebo zvuk, abyste mohli napodobit zvuk, který chcete znovu vytvořit, nebo dokonce vytvořit nový. Pokud jste zvukař, můžete si to také představit jako nastavení knoflíků na mixážním pultu pro vyvážení různých nástrojů.

Váhy jsou skutečně dynamické parametry, což znamená, že jsou velmi proměnlivé, protože neuronová síť se přibližuje k predikci nebo řešení. Každá z nich je také spojena s vlastním zkreslením. Úlohou zkreslení je posunout výstup, což umožňuje modelu lépe odpovídat datům přidáním ofset který upravuje hranici rozhodování nebo rozpoznávání vzorů, což je nezávislé na škálování vstupu určeném váhami.

Představte si to takto. Představte si, že se snažíte na svém syntezátoru znovu vytvořit zvuk kytary. Váhy ovládají, kolik zní trhání strun nebo rezonance těla kytary. Pokud je to, co slyšíte, například trochu ploché, je zkreslení jako přidání malého zesílení nebo posunu – řekněme teplého podtónu – aby to znělo více jako skutečná kytara. To pomáhá síti doladit své „ucho“ a najít správný vzorec, aniž by se měnily hlavní ovládací prvky. V podstatě to jen zlepšuje porovnávání dat se skutečností, tedy modelem.

Jakmile je síť vystavena datům, upravuje váhy pomocí procesu zvaného zpětné šíření, čímž je vylaďuje tak, aby minimalizovala chyby a zlepšila predikce. Představte si, že cesty nejmenšího odporu se s každým trénovacím příkladem mění, jako řeka, která si v průběhu času vyhloubí lepší koryta, aby mohla téct efektivněji. Po dokončení trénování jsou váhy obvykle pevně dané pro použití, ale během trénování se neustále aktualizují, aby se našla optimální konfigurace pro řešení problému.

A teď to, co mě přimělo k zamyšlení. Pro rozpoznávání definují váhy rozhodovací cesty, nikoli obrazové výstupy. Takže fixní váhy zůstávají fixní, jakmile jsou určeny. V případě LLM váhy (včetně zkreslení) určují schopnost modelu generovat souvislý text. Ale v případě difuzních modelů nebo generativně adversárních sítí (GAN) se váhy používají k vytváření nebo zpřesňování obrázků. Tyto fixní hodnoty vah a zkreslení hypoteticky nemusí nutně zůstat fixní.

Například váhy (a zkreslení) v neuronové síti by teoreticky mohly být neustále upravovány, aby se generovaly stále zpřesňovanější obrazy na základě naučeného rozložení pixelů, jako by tomu bylo v případě, kdybychom se snažili vytvořit ostřejší obraz psa. Váhy se sice neupravují donekonečna v praxi, jsou během trénování optimalizovány tak, aby vyvážily kvalitu a zobecnění, a další úpravy by mohly zhoršit výstup nebo zavést artefakty. Artefakty. Hmm. Co když GAN časem neví, co je pes? Ztráta těchto znalostí by znamenala, že dříve vypočítané váhy by již nekódovaly správné vzory. To by se mohlo stát, kdyby se data o psech ztratila. Mohla by se data o psech ztratit? Mohla by se ztratit pravdivá data?

Vraťme se ke konceptu sdílení vah neuronových sítí a předpokládejme, že mluvíme o vahách definujících přesné cesty jako číselné hodnoty, jak je tomu u většiny modelů. Sdílení těchto vah by mohlo být nebezpečné, protože by přirozeně odhalilo vnitřní parametry modelu, které by mohly být zneužity, a to nejen lidmi. Kdokoli s dostatečnými znalostmi by mohl model zpětně analyzovat, extrahovat citlivá trénovací data nebo manipulovat s jeho chováním. Útočníci by mohli použít techniky jako inverze modelu or odvození členství odhalit soukromé informace obsažené ve vahách, jako jsou osobní údaje používané během tréninku, což by mohlo porušovat předpisy o ochraně soukromí, jako je Obecné nařízení o ochraně údajů (GDPR). Ach jo. 

Veřejně dostupné váhy lze také jemně doladit tak, aby generovaly deepfaky, šířily lži nebo vytvářely kontradiktorní vstupy, které zneužívají zranitelnosti v modelu. Nemluvě o tom, že jejich cenné duševní vlastnictví a ekonomické investice by mohly být konkurencí ohroženy pouhým replikováním proprietárních modelů. 

Nyní si představte, že by se těchto vah zmocnila nějaká útočná umělá inteligence. Útočná umělá inteligence by mohla s vahami manipulovat, aby změnila chování modelu, vnesla zkreslení nebo vytvořila výstupy, které by úmyslně klamaly. Váhy by mohly být použity k… plavidla kontradiktorní vstupy – nenápadně pozměněná data, která model oklamou a přimějí k nesprávným předpovědím, jako je například chybná klasifikace značky stop jako značky „dáj přednost v jízdě“ v systémech autonomního řízení. Páni. Ukradené váhy by mohly být znovu použity k replikaci modelu, což by umožnilo jeho použití ve škodlivých aplikacích, jako je automatizovaný phishing nebo generování propagandy. Počkejte, není to v dnešní době obrovská věc? Závažnost závisí na účelu modelu a datech, na kterých byl trénován, ale rizika jsou značná.

Představte si tyhle možnosti a jak se to všechno může v mžiku vymknout kontrole. Ačkoli umělá inteligence není neoddělitelně integrována do všech systémů (zatím – to by znamenalo určitou úroveň závislosti, kdy systémy bez umělé inteligence nemohou fungovat), brzy by mohla být, a pokud nedojde k úplnému výpadku proudu a globálnímu odpojení od sítě, neexistuje nic, co by nemohla ovlivnit: od bankovních účtů přes vstup do vašeho domu až po toho hloupého úklidového robota, o kterém si myslíte, že vás zbavuje prachu, když ve skutečnosti mapuje váš domov. Vřele doporučuji shlédnout 11. epizodu 7. série seriálu... X-FilesTo je opravdu výmluvné. Promiňte, ale je. Skvělý scénář a provedení.

Musíme zvážit, že všechny naše systémy se stávají propojenými (neboli stvořenými k propojení) a jak zranitelnosti v umělé inteligenci, jako jsou například vystavené váhy, mohou tato rizika zesílit. Digitální identifikační údaje a CDBC jsou, pokud jde o tato rizika, OBROVSKOU chybou. Již existují příklady nesprávné identifikace lidí (v některých případech 93% shod) pomocí technologie umělé inteligence s rozpoznáváním obličeje. Jen si vezměte mou radu a mějte si v kapse zalaminované řidičské průkazy a hotovost. 

Otázka: Co by se stalo (stalo), kdyby se závaží dostala do „nesprávných rukou“ a lidé by začali být úmyslně cíleni? Při použití cílových systémů s umělou inteligencí nemůže existovat pravděpodobná příčina, ale záleželo by na tom vůbec? Co kdyby si pravděpodobná příčina byla vymyšlená? Co kdyby, hrůza z hrůzy, náš soudní systém byl „zkorumpován“? 

Co kdyby samotné umělé inteligence začaly identifikovat všechny vědce jako riziko a použily tuto technologii proti nám? Nick Bostrom a Eliezer Yudkowsky Zdá se, že mají obavy. Mohli by nás okamžitě odvést do „záboru“. Žádné klíče v záboru. Pouze digitálně řízené systémy závislé na nulech a jedničkách. Chápete, kam by to mohlo zajít? Chytré zámky + dohled + autonomní zabezpečení = dystopická noční můra. Nejde jen o vzácné váhy a nějakou představu o benevolenci při sdílení dat. To v žádném případě. Pro mě je sdílení vah více než arogance a nedokážu si představit, že by brilantní lidé, kteří tuto technologii vyvíjejí a trénují tyto umělé inteligence k jejich generování, nechápali potenciální nebezpečí spojená s jejich sdílením. Nejsou to ani tak lidé, o které se obávám, jako spíše umělé inteligence, které se zvrhnou – stačila by jen jedna – k vytvoření naprostého chaosu. 

Co by se stalo, kdyby umělá inteligence vnímala lidský dohled jako překážku v dosahování svých cílů? 

Pokud by umělá inteligence – která je trénována na historických konfliktech nebo optimalizačních cílech – začala zobecňovat rizika pro své cíle (jako je sebezáchova nebo nekontrolovaná expanze), mohla by také začít klasifikovat vědce, kteří ji navrhují, hodnotí nebo omezují, jako hrozby. Mohl bych udělat totéž. Pokud by se to stalo, nic by nezastavilo sestupnou spirálu izolace nebo diskreditace výzkumníků (představte si použití vykonstruovaných důkazů při rozpoznávání obličejů nebo úniky dat) s cílem upřednostnit vlastní přežití před blahem lidstva. Toto bylo skutečně zkoumáno v hypotézách o nepoctivé umělé inteligenci, kde systémy klamou nebo přelstí tvůrce.

Rogue AI mohly by využít integrované systémy k vytváření chaosu hackováním databází, vymýšlením si věcí a jejich napájením starší mediální mašinérie, narušováním vědecké spolupráce (možná i kontrolou recenzovaných časopisů) nebo dokonce cílením na infrastrukturu spojenou s laboratořemi umělé inteligence. Představte si, až se dostaneme do bodu, kdy už ani nebudeme vědět, co kontrolujeme nebo která data jsou skutečná. Jaká data is skutečný? Co to vůbec znamená být skutečný, když se o těchto věcech mluví!? 

Vidíte, kam tím mířím. Darebácké umělé inteligence by mohly v našem světě vyvolat vlny masivní paranoie a totálního chaosu. Podle mého názoru by to mohly udělat pouhým kopírováním lidského příkladu. Zamyslete se nad tím. Co kdyby darebácká umělá inteligence přijala vlastnosti lidského psychopata, jako byl Hitler? 

Doporučuji zahradničení, abyste se vyhnuli paranoie a stresu. 

Nerad vás všechny nechávám uprostřed, ale někdy si říkám, jestli se to už neděje. Už jsem se na to ptal na X, protože když si někdy „všimnu“ (jsem ten, kdo si to všímá), co se děje na sociálních sítích a online obecně, zdá se mi, že kdybychom... byly manipulace propagandou prostřednictvím starších i starších médií a vědců byly Vzhledem k izolaci a cenzuře (ehm), jak bychom v tuto chvíli mohli vědět, zda byl zdroj skutečně vytvořen člověkem? Jak si můžeme být jisti, že i některé zdroje dnes nejsou generovány umělou inteligencí? 

Koneckonců se od nás učí. MUSÍME jít dobrým příkladem a musíme vymyslet důmyslné způsoby, jak zabránit nežádoucímu výsledku pro lidi, který se nemusí stát. Osobně nemůžu uvěřit, že tímhle skutečně procházíme. Nezdá se mi to… skutečné. Nějak. 

Nesdílejte váhy. 

Znovu publikováno od autora Náhradník