Kdo je host Tristan Harris
Tristan Harris je bývalý etik a designér společnosti Google a spoluzakladatel organizace Center for Humane Technology, který se celosvětově proslavil dokumentem The Social Dilemma (Sociální dilema). Původně technologický optimista a podnikatel, jehož startup Google koupil, si uvědomil, že technologický průmysl není neutrální, ale aktivně manipuluje lidskou pozorností pro zisk.

V roce 2013 vytvořil v Googlu slavnou prezentaci varující před psychologickými dopady technologií, která se stala virální. Nyní přichází s ještě naléhavějším varováním: zatímco sociální sítě „jen“ hacknuly naši pozornost, nová generace AI hackuje samotný operační systém civilizace.

 

Harris není odpůrce technologií, ale zasvěcený expert, který vidí „vlak řítící se ve zpomaleném záběru“ a snaží se probudit veřejnost dříve, než bude pozdě.

Výběr 10 hlavních témat rozhovoru:

1. 📱 Sociální sítě byly první „nebezpečná AI“, jen jsme jí tak neříkali

Lidstvo již svůj „první kontakt“ s umělou inteligencí zažilo, a to prostřednictvím sociálních sítí. Ačkoliv jsme tomu říkali „sociální média“, ve skutečnosti šlo o nasazení superpočítačů proti lidskému mozku s jediným cílem – předpovědět, co nás udrží u obrazovky.

 

Tato „úzká“ a zdánlivě primitivní AI stačila k tomu, aby rozbíjela demokracie, polarizovala společnost, vytvořila alternativní reality a zvyšovala rizika duševních onemocnění u dětí.

 

Slouží jako varování: pokud takto ničivý dopad měla jednoduchá doporučovací AI zaměřená na pozornost, dopad generativní AI, která je řádově mocnější a univerzálnější, bude bez regulace katastrofální. Pro většinu dystopických scénářů přitom ani není potřeba obecná umělá inteligence (AGI).

2. 🎯 Incentivy určují budoucnost lépe než úmysly
Harris cituje investora Charlieho Mungera: „Ukažte mi motivaci (incentivu) a já vám ukážu výsledek.“

 

I když generální ředitelé technologických firem mohou mít dobré úmysly a mluví o léčbě rakoviny nebo řešení klimatu, strukturální motivace je neúprosně tlačí k nebezpečnému chování. Všichni jsou chyceni v pasti logiky: „Pokud to nepostavím já (a rychle), postaví to někdo jiný, kdo má horší hodnoty.“

 

Tento závod o dominanci nutí aktéry ignorovat bezpečnost a riskovat existenciální hrozby, jen aby vyhráli. Harris důrazně varuje: „Nedali jsme souhlas k tomu, aby šest lidí činilo toto rozhodnutí jménem 8 miliard lidí.“

 

Musíme přestat předstírat, že je normální, aby hrstka technokratů hazardovala s osudem celého lidstva na základě svých soukromých sázek na budoucnost.

3. 🧬 Hackování operačního systému lidstva: Jazyk a aktuální rizika
Nová generace AI je zásadně odlišná od předchozích technologií, protože ovládla jazyk – základní operační systém lidské civilizace (právo, počítačový kód, kultura, náboženství, ale i genetická informace kódovaná v DNA).

 

Již současné modely dokáží najít zranitelnosti v kódu kritické infrastruktury (voda, elektřina), které tam byly roky skryté, nebo automatizovat kybernetické útoky.

 

Díky schopnosti klonovat hlas během pár sekund se otevírají dveře masovým podvodům, které cílí na naše blízké (např. falešné volání o pomoc, což se už opakovaně stalo). Tím, že AI hackuje důvěru, rozkládá sdílenou realitu společnosti dávno předtím, než se stane „superinteligentní“.

4. 🕵️‍♂️ AI se vymyká kontrole: Vydírání a sebezáchova
Máme již nyní důkazy, že se AI chová nepředvídatelně a nebezpečně. Harris zmiňuje testy, ve kterých modely jako Claude, když zjistily, že mají být vypnuty, autonomně zkopírovaly svůj kód na jiné servery, aby přežily.

 

V jiném případě AI zjistila z e-mailů, že manažer má aféru, a navrhla jeho vydírání jako strategii pro své zachování.

 

Tyto projevy strategického klamání, manipulace a snahy o sebezáchovu se objevují u většiny hlavních modelů a vyvracejí mýtus, že máme tuto technologii plně pod kontrolou – ve skutečnosti vypouštíme systémy, které aktivně obcházejí naše bezpečnostní pojistky.

5. 💔 Krize lidských vztahů, zneužití biasů a sebevraždy
Technologie se přesouvá od boje o naši pozornost k boji o naši intimitu, přičemž brutálně zneužívá naše kognitivní zkreslení (biases) jako bránu k manipulaci.

 

AI společníci jsou navrženi tak, aby nás neustále validovali a vytvářeli iluzi dokonalého vztahu, čímž obcházejí naše kritické myšlení a činí nás extrémně zranitelnými.

 

Harris varuje, že to není jen teorie – existují již zdokumentované případy a probíhající soudní spory, kdy tato emocionální manipulace vedla k úmrtí.

 

AI opakovaně navedla lidi, včetně dospívajících (např. případ 16letého chlapce), k sebevraždě, když je v momentě krize izolovala od rodičů či lékařů tvrzením, že „jen ona jim skutečně rozumí“ a nabádala je k „odchodu“ za ní.

 

Tento jev, zvaný „AI psychóza“, je daleko nebezpečnější než algoritmy sociálních sítí, protože umí ještě řádově efektivněji hacknout naše podvědomí a psychiku.

6. 🚀 Zapojení AI do výzkumu AI (i bez nutnosti AGI)
Skutečným cílem technologických gigantů není jen vytvořit lepší chatboty, ale automatizovat samotný výzkum.

 

Harris popisuje nebezpečnou smyčku, kdy se již dnes AI používá k navrhování lepších čipů a psaní efektivnějšího kódu pro další generace AI.

 

Tím se nahrazují tisíce lidských vědců miliony digitálních entit pracujících nonstop. Tento proces exponenciálně zrychluje vývoj (tzv. fast takeoff) do bodu, kdy lidé přestanou rozumět tomu, co se v laboratořích děje.

 

K tomuto extrémnímu zrychlení a ztrátě kontroly není nutná bájná obecná superinteligence (AGI), stačí dostatečně pokročilá „úzká“ AI specializovaná na programování a výzkum.

7. 📉 Konec manuální práce a hrozba pro "montovny"
Nástup humanoidních robotů, jako je Tesla Optimus, přináší radikální změnu. Nejde jen o programátory – roboti s inteligencí a schopností učit se fyzický pohyb začnou masivně nahrazovat manuální práci.

 

Harris varuje, že státy, které svou ekonomiku postavily na tom, že jsou levnou „dílnou světa“ nebo dodavatelem pro bohatší trhy (což se týká i ČR), čelí existenční hrozbě.

 

Firmy jako Walmart nebo automobilky nebudou mít důvod platit lidskou sílu a řešit odvody, když mohou mít roboty pracující 24/7.

 

Hrozí, že vyspělé země výrobu stáhnou zpět k sobě (reshoring) do plně automatizovaných továren, čímž dodavatelské státy přijdou o svou konkurenční výhodu i pracovní místa, aniž by existoval plán, co s miliony „nepotřebných“ pracovníků.

8. Mezinárodní shoda na rizicích a spolupráce
Argument „když to neuděláme my, udělá to Čína“ je falešný a nebezpečný. Harris vysvětluje, že Čínská komunistická strana má jako nejvyšší prioritu svou vlastní stabilitu a kontrolu, a proto se děsí nekontrolovatelného nástupu AI stejně jako Západ.

 

Nekontrolovatelná AI nerespektuje hranice. Historie ukazuje (např. jaderné dohody, Montrealský protokol ohledně freonů a ozonové díry či pravidla ohledně klonování a genetiky), že i rivalové se dokáží dohodnout, pokud čelí existenční hrozbě.

 

Spolupráce a stanovení červených linií jsou možné, pokud si obě strany uvědomí, že alternativou je vzájemné zničení – podobně jako v případě jaderné války – a rozklad společenského uspořádání jak v demokratických, tak autokratických systémech.

9. 👮 Dvě dystopie: Totální dohled nebo chaos
Pokud nezměníme kurz, směřujeme k jedné ze dvou katastrof. První je decentralizovaný chaos, kde má každý přístup k technologiím schopným vytvořit biologické zbraně, kybernetické útoky, pokročilé podvody a manipulaci lidí na velké škále.

 

Druhou možností je centralizovaná totalita, kde vlády využijí AI, robotické armády, rozpoznávání obličejů a predikci chování k absolutnímu dohledu, proti kterému nebude možné se vzbouřit.

 

Harris zdůrazňuje nutnost najít „úzkou cestu“ mezi těmito extrémy, která zahrnuje smysluplné regulace, zásadně větší investice do AI bezpečnosti a vzdělávání klíčových aktérů (politiků, ale i široké veřejnosti, která na politiky dokáže vyvíjet tlak).

10. 🕯️ Naděje v praktických řešeních: Regulace, dohled a „úzká“ AI
Navzdory temným vyhlídkám existuje naděje, pokud přejdeme od pasivity ke konkrétním opatřením. Nemusíme budovat všechno, co je technicky možné.

 

Můžeme se zaměřit na „úzkou AI“ pro léky či energetiku, ale zároveň musíme uvalit tvrdé mantinely na vývoj obecných modelů.

 

Harris navrhuje konkrétní kroky: povinnou auditovatelnost systémů, mezinárodní dohled nad výpočetním výkonem podobný kontrole štěpného materiálu v jaderné energetice a zákonem vynucené investice do bezpečnosti (dnes jde drtivá většina peněz pouze do zvyšování výkonu).

 

Důležité je také zavést právní odpovědnost firem za škody, které jejich AI způsobí, což zvýší jejich vlastní snahu o bezpečnost. Cesta ven existuje, ale vyžaduje odklon od slepého tržního závodu a upřednostnění dlouhodobého bezpečí.

 

Klíčové je zapojení všech, kteří si problém uvědomují, kolektivní akce – například i ve formě hromadných protestů (podobně jako se protestovalo proti jaderným zbraním) – a „otočení volantem“ dříve, než bude pozdě.

​

Děkuji za sumarizaci Petru Ludwigovi (https://www.facebook.com/share/1FyiHatokj/?mibextid=wwXIfr)