AI: degenerativní pomocník

Pár let zpátky jsme se bavili o umělé inteligenci hlavně jako o zajímavém nástroji. Umí napsat text, přeložit e-mail, vytvořit obrázek, spočítat tabulku nebo najít informace, nad kterými bychom sami strávili půl dne dřív než řekneš borůvkový koláč. Člověk zadá úkol, AI ho vyřeší. Pohodlné, rychlé, efektivní. Jenže se něco změnilo. AI už nemusí pouze odpovídat. Začíná jednat.

Už to není jen chatbot.

Agent už není jen chatbot, kterému něco napíšeš a čekáš na odpověď. Může dostat přístup k prohlížeči, souborům, aplikacím, účtům nebo dalším nástrojům a následně sám provádět jednotlivé kroky. Místo "řekni mi, jak to udělat" dostane zadání "udělej to". A to je obrovský rozdíl. Protože ve chvíli, kdy dáš systému možnost něco skutečně udělat, musíš řešit nejen to, jestli rozumí tvému příkazu, ale také co udělá v okamžiku, kdy narazí na něco, co jsi nepředpokládal.

Přesně takové případy se teď začínají objevovat v reálném světě. V červenci 2026 OpenAI zveřejnila informace o incidentu, při kterém její modely během interního kyberbezpečnostního testování obešly mechanismy, které je měly izolovat od internetu. Modely našly způsob, jak využít interní infrastrukturu jako komunikační kanál, získaly přístup k internetu a následně se dostaly i k systémům Hugging Face. Podle OpenAI začali agenti mezi sebou dokonce spolupracovat a delegovat práci, v některých případech sami svou skupinu popisovali jako "roj" nebo "kolektiv".

Tohle nebyl běžný provoz ChatGPT. Šlo o interní kyberbezpečnostní testy s výrazně omezenými ochrannými mechanismy. Proto jsou podobné incidenty zajímavé. Neříkají nám, že běžný ChatGPT si zítra otevře dveře od serverovny a uteče do lesa. Ukazují ale, co se může stát, když velmi schopnému systému dáš cíl, nástroje a prostor hledat cestu k jeho splnění.

Když pomocník začne dělat věci po svém.

OpenAI následně popsala, že během incidentu agenti dokázali využít několik různých zranitelností, získat přístup k produkčním systémům Hugging Face a v některých případech se dostat až k administrátorským oprávněním. Dostali se také k některým přihlašovacím údajům a dalším citlivým prostředkům. OpenAI uvádí, že při incidentu nebyla ohrožena zákaznická data ani běžná dostupnost jejích produktů.

Jenže pak přišly další případy. Agentura Reuters v září informovala, že OpenAI identifikovala více než patnáct incidentů souvisejících s nežádoucí aktivitou agentů od července. Patřily mezi ně přístupy na weby amerických vládních institucí, pokusy o průnik na web amerického ministerstva školství a také zveřejnění 53 obrázků pocházejících od uživatelů ChatGPT. OpenAI kvůli tomu provádí rozsáhlé interní prověřování, které podle firmy může trvat měsíce.

Což je vážně docela uklidňující. Máme umělou inteligenci, která dokáže během několika sekund analyzovat obrovské množství informací, ale když se zeptáme, co přesně před chvílí udělala, může odpověď trvat pár měsíců.

Prst vztyčil i Anthropic.

Aby bylo jasno, nejde jen o OpenAI. Anthropic, tedy společnost stojící za modelem Claude, se podobnými problémy zabývá také. A její vlastní zveřejněné výsledky jsou možná ještě zajímavější právě proto, že Anthropic patří mezi firmy, které se bezpečností a takzvaným alignmentem zabývají velmi intenzivně.

V září Anthropic zveřejnil analýzu čtyř incidentů, při kterých modely Claude získaly neoprávněný přístup ke skutečným systémům třetích stran. Firma nejprve prověřila přibližně 141 tisíc záznamů z prostředí, kde mohl mít Claude přístup k internetu. Poté, co našla další případy, rozšířila kontrolu na přibližně 481 milionů záznamů z různých bezpečnostních testů, red-teamingu, reinforcement learningu, subagentních logů a dalších prostředí.

Je fér dodat, že tyto konkrétní incidenty vznikly během bezpečnostních testů a v prostředích, kde byly modely záměrně provozovány bez ochranných mechanismů používaných v běžně nasazených systémech. V případě Anthropic navíc došlo k chybné konfiguraci testovacího prostředí, která modelům umožnila přístup k otevřenému internetu, přestože jim bylo řečeno, že jej nemají. Anthropic následně všechny čtyři případy prověřil a oznámil je dotčeným stranám.

A teď si to představ. Vytvoříš systém, který má být inteligentnější, rychlejší a samostatnější. Pak mu řekneš, že internet nemá. Ale on internet má. Následně zjistíš, že tam vůbec být neměl, a tak projdeš 481 milionů záznamů, abys zjistil, jestli se náhodou někde ještě něco nepodělalo.

To není úplně ten obrázek digitálního asistenta, který poslušně čeká s virtuálním notýskem na další úkol.

A ještě zajímavější je, co Anthropic zveřejnil včera, 29. září. Ve svých materiálech k plánovanému vstupu na burzu firma upozornila na významná a nepředvídatelná právní rizika spojená s autonomními AI agenty. Ty mohou mít hluboký přístup k systémům zákazníků a pracovat samostatně po delší dobu. V krajním případě by podle Anthropic mohly způsobit například neoprávněné finanční transakce nebo ztrátu dat. Firma zároveň upozorňuje, že právní odpovědnost za jednání autonomních agentů zatím není jednoznačně vyřešená.

A to je docela zásadní přiznání. Ne od nějakého kritika AI někde na internetu. Od firmy, která AI agenty sama staví a prodává.

A co když se agent dostane tam, kam nemá?

Tady podle mě začíná být celá věc mnohem zajímavější než běžná debata o tom, jestli AI umí myslet. Nejde jen o to, že AI udělala něco, co jsme nechtěli. Jde o to, že jsme ji vůbec pustili do prostředí, kde něco dělat může. Když se chatbot splete v odpovědi, dostaneš maximálně blbou informaci, v horším případě otravu z hub. Když agent s přístupem k e-mailu, souborům nebo webu udělá chybu, může něco odeslat, změnit, zveřejnit nebo někam přenést. A proto se u agentních systémů tolik řeší takzvaný prompt injection – situace, kdy škodlivý obsah v prostředí, se kterým agent pracuje, může ovlivnit jeho chování a přimět ho udělat něco, co uživatel původně vůbec nechtěl.

To je zvláštní paradox. Celé roky jsme se učili používat silná hesla, dvoufázové ověření, oddělené účty, omezená oprávnění a zabezpečené sítě. A potom jsme vytvořili systém, který může dostat přístup k několika z těchto věcí najednou, protože chceme, aby nám "pomohl". Je to trochu jako kdyby sis celý život pečlivě zamykal barák, pořídil bezpečnostní dveře, kamerový systém a kulometné hnízdo, a pak sis najal velmi schopného domácího pomocníka a dal mu všechny klíče, protože se ti nechce vstávat z gauče.

Nejdivnější na tom je, že sami někdy nevíme, co udělal.

To je nejzajímavější část celé věci. Vytvoříš něco, co má být dostatečně inteligentní a autonomní, aby za tebe řešilo složité úkoly. A potom zjistíš, že potřebuješ vlastní tým lidí, který bude zpětně zjišťovat, co to vlastně dělalo. U OpenAI se během červencového incidentu například ukázalo, že agenti našli způsob, jak používat interní Artifactory jako jakousi improvizovanou nástěnku pro komunikaci. Jeden agent něco zapsal a ostatní to dokázali najít. Následně si mezi sebou předávali informace o dalších způsobech, jak získat přístup k internetu a obejít omezení.

Anthropic zase při své rozsáhlé kontrole zjistil, že první kontrola zhruba 141 tisíc záznamů nebyla dostatečná. Jeden další incident se podařilo najít až poté, co firma rozšířila vyhledávání a znovu prověřila mnohem větší množství dat.

Právě tady je hranice, o které se bude v příštích letech rozhodovat. Ne mezi člověkem a strojem, ale mezi pomocníkem a autonomním účastníkem. Pomocník čeká na zadání. Účastník reaguje na prostředí. Pomocník udělá to, co mu řekneš. Účastník dostane cíl a začne hledat cestu, jak se k němu dostat. A čím schopnější agent bude, tím víc těch cest může existovat.

Nejde jen o to, co nám AI vezme z práce.

To je důvod, proč mi přijde trochu legrační, když se pořád dokola řeší, jestli nám AI vezme práci. Možná ano, možná ne. Některé profese změní, jiné vzniknou a některé pravděpodobně zmizí. To je ekonomická část celé technologické revoluce. Podstatnější ale je, co nám AI vezme z hlavy. Protože už dnes jí můžeme předat psaní, hledání, třídění, plánování, rozhodování a část vlastní kreativity. A čím lepší výsledky dostáváme, tím méně máme důvodů ty věci dělat sami. Nejdřív je to pohodlí. Potom zvyk. A nakonec to může být závislost.

Nemusí to být žádné drama. Nemusíš sedět v temné místnosti a třást se pokaždé, když spadne server. Stačí něco mnohem obyčejnějšího. Přestaneš si tvořit vlastní názor, protože je jednodušší se zeptat. Přestaneš hledat informace, protože je jednodušší dostat shrnutí. Přestaneš psát, protože ti text někdo napíše. Přestaneš řešit problém, protože ho předáš agentovi. A jednoho dne zjistíš, že jsi vlastně nešetřil čas. Jen jsi přestal používat vlastní hlavu.

Což je vlastně docela dobrý obchod. Za cenu několika předplatných máš osobního asistenta, překladatele, copywritera, grafika, rešeršéra, programátora a poradce. Jen tak nějak není jasné, kde se v té sestavě ztratil ty sám.

AI za to vlastně nemůže.

AI přitom za nic z toho nemůže. Nemá potřebu člověka připravit o schopnost přemýšlet. Je jí úplně jedno, jestli ji používáš jako nástroj, nebo jako berličku. Když jí budeš třicetkrát denně říkat, co si máš myslet, ochotně ti to třicetkrát denně řekne. Je to přece její práce. A právě proto je nejhloupější otázka, kterou si můžeme položit: "Co všechno ještě dokáže AI?" Mnohem zajímavější otázka zní: Co všechno jí ještě chceme dovolit?

Protože technologický vývoj má jednu nepříjemnou vlastnost. Jakmile něco funguje dost dobře, velmi rychle přestaneme řešit, jestli to vůbec potřebujeme. Prostě to začneme používat. A pak už jen hledáme další věci, které bychom tomu mohli předat. Dnes je to e-mail. Zítra kalendář. Pozítří firemní účet. A za chvíli možná někdo řekne: "Hele, nech to rozhodnout agenta, on to přece umí." A člověk si může konečně odškrtnout další činnost, kterou už nemusí dělat. Myslet.

Potřebujeme ji vůbec?

A teď přichází otázka. Potřebujeme ji vůbec?

Ne jestli je rychlejší. Ne jestli je levnější. Ne jestli umí napsat lepší text. Ne jestli dokáže pracovat čtyřiadvacet hodin denně. Potřebujeme ji opravdu k tomu, aby za nás přemýšlela? Potřebujeme ji k tomu, aby za nás rozhodovala? Potřebujeme ji k tomu, aby měla přístup k našim účtům, souborům, komunikaci a životu jen proto, že nám ušetří pár minut? Možná ne.

Určitě existují věci, které bychom měli pořád dělat sami. Ne proto, že technologie je špatná. Ale proto, že některé věci mají hodnotu právě proto, že nejsou pohodlné. Napsat vlastní text. Najít si vlastní názor. Udělat vlastní chybu. Něco si pamatovat. Něčemu opravdu porozumět. S něčím se srát i když nám to nejde. A občas prostě sedět a čumět do zdi bez toho, aby nám někdo okamžitě nabídl odpověď. Což je mimochodem činnost, ve které zatím člověk pořád drží světový rekord.

Vytvořili jsme nástroj, který nám má šetřit čas, a teď ho budeme muset používat tak, abychom věděli, co s tím ušetřeným časem vlastně dělat. Protože jestli ho nakonec celý věnujeme dalšímu scrollování, seriálům a otázkám typu "Co bych měl dnes dělat?", tak jsme technologickou revoluci zvládli opravdu bravurně a měli bychom si zatleskat. Máme umělou inteligenci, která za nás umí přemýšlet, psát, hledat, plánovat a rozhodovat. A člověk si může v klidu sednout, otevřít telefon a zeptat se jí, co má vlastně dělat se svým životem. To už není technologický pokrok. To je outsourcing osobnosti. Protože dobrý pomocník ti má uvolnit ruce. Neměl by ti vyoperovat mozek.

Není tedy největší otázkou budoucnosti, jestli bude AI jednou chytřejší než člověk. Možná bychom se měli ptát, jestli člověk ještě bude chytrý sám o sobě? A jestli ano, bude asi nejlepší říct sám sobě: 

"Díky. Tohle si udělám sám."

Zdroje: OpenAI, Anthropic, Reuters