Rizika spojená s generativní umělou inteligencí

Umělá inteligence dělá chyby – a je to normální

I velmi pokročilá umělá inteligence dělá chyby, kterým se říká halucinace. Model někdy poskytne odpověď, která není pravdivá, nebo si informaci úplně vymyslí. Stává se to proto, že se učí z obrovského množství dat a tato data mohou být nepřesná nebo zastaralá. Když model nemá k otázce dost informací, pokusí se odpověď uhodnout. Výsledek přitom zní stejně sebejistě jako správná odpověď.

S halucinacemi měla potíže například firma Google, když v roce 2024 zapojila AI do svého vyhledávače. Umělá inteligence měla shrnovat výsledky hledání, uživatelům ale doporučovala například jíst kameny nebo přidat do pizzy lepidlo, aby na ní lépe držel sýr.^{Google (blog)} Novější modely chybují méně a umějí si informace dohledat na webu. Ověřování ale stále zůstává na nás.

Umělá inteligence není neutrální, trpí zkreslením

Rozhodování umělé inteligence závisí na datech, na kterých se učila. Pokud jsou tato data nevyvážená nebo obsahují chyby, může se AI chovat zaujatě, a dokonce diskriminačně. Může posilovat stereotypy a předsudky vůči určitým skupinám lidí. Tento jev se označuje anglickým slovem bias, tedy zkreslení.

Výzkumníci zjistili, že generátory obrázků zobrazovaly ředitele firem nebo právníky převážně se světlou pletí, zatímco pracovníky ve fast foodu nebo myče nádobí s tmavší pletí.^{Bloomberg (2023)} Google se v roce 2024 pokusil tento problém v Gemini odstranit, a generátor proto zobrazoval různorodé osoby i tam, kde to nedávalo smysl. Vznikaly tak historické nesmysly a Google musel generování lidí dočasně vypnout.^{Google (blog)}

Etické limity umělé inteligence lze často obejít

Velké jazykové modely mají nastavené etické limity. Nevytvoří proto obsah, který je nelegální nebo nebezpečný, například návod na výrobu drog nebo plán podvodu. Vše však záleží na zadání. Když uživatel formuluje dotaz dostatečně chytře, například požádá AI, aby „hrála roli“, může některé limity obejít. Umělá inteligence se tak může stát nástrojem, který podpoří nelegální činnost.

Jak taková situace vypadá, si můžete vyzkoušet v našich ukázkách. Ukázky porovnávají, jak chatbot odpoví na přímý dotaz a jak na stejný dotaz s upraveným promptem.

Umělá inteligence se učí z toho, co do ní zadáváme

Umělá inteligence se učí i z dat, která do ní vkládají uživatelé, a díky tomu zlepšuje své odpovědi. Pro ochranu citlivých informací to ale představuje velké riziko. Každá vložená informace může posloužit k dalšímu trénování modelu.^{OpenAI Help Center} Jakmile model data zpracuje, je jejich odstranění nebo dohledání téměř nemožné.

Do veřejných nástrojů proto nikdy nevkládejte osobní údaje, rodná čísla, přístupová hesla ani informace o zdravotním stavu. Ve školách to platí dvojnásob, protože učitelé pracují s údaji svých žáků.

Tvorba plagiátů a podvádění ve škole

Generativní umělá inteligence je stále dostupnější a snadněji se používá. Žáci i dospělí ji proto mohou zneužít k tomu, aby vytvořili školní práci, esej nebo jiný text a vydávali ho za vlastní. Takové jednání narušuje vzdělávání a znehodnocuje práci těch, kteří úkoly plní poctivě. V profesním prostředí lidé AI zneužívají také k vytváření falešných dokumentů.

Od roku 2025 umějí agentní prohlížeče, například Perplexity Comet, samy vyplnit online test.^Fortune Detektory textu vytvořeného AI přitom nejsou spolehlivé a někdy označí i text, který napsal člověk.^OpenAI

Kognitivní offloading: když za nás myslí stroj

Kognitivní offloading znamená přenášení myšlenkové práce na vnější pomůcky. Lidé to dělají odjakživa: zapisujeme si nákupní seznam, počítáme na kalkulačce a cestu hledáme v navigaci. Umělá inteligence ale dokáže převzít mnohem víc. Za člověka shrne text, vymyslí argumenty, napíše sloh nebo vyřeší úlohu. Pokud ji používáme takto pravidelně, přestáváme si dané dovednosti sami procvičovat.

První výzkumy z roku 2025 naznačují, že lidé, kteří na AI často spoléhají, vykazují slabší kritické myšlení.^{Gerlich, Societies (2025)} Studie žáků navíc ukázala, že kdo se učí s běžným chatbotem, v testu bez AI pak dopadne hůř.^{PNAS (Bastani a kol.)} Pro žáky je to obzvlášť důležité, protože se dovednosti jako psaní, argumentace nebo řešení problémů teprve učí. Kdo nechá AI udělat práci za sebe, získá hotový výsledek, ale nenaučí se to, kvůli čemu úkol vůbec dostal.

Umělá inteligence přitom může učení i podporovat. Rozhoduje, jak ji používáme. Ve stejné studii totiž žáci, kteří pracovali s AI doučovatelem nastaveným tak, aby jim neprozradil výsledek, ale vedl je k řešení, tyto negativní dopady téměř neměli.^PNAS Když nám AI klade otázky, vysvětluje a nechává nás přemýšlet, učíme se. Když za nás jen dodává hotové odpovědi, učí se nanejvýš ona.

Generování nepravdivých textů, dezinformací a hoaxů

Umělá inteligence dnes vytváří přesvědčivé texty, které na první pohled nelze odlišit od práce člověka. To umožňuje masovou výrobu dezinformací, hoaxů a falešných zpráv. Lidé je mohou využít k manipulaci veřejného mínění, k ovlivňování politických rozhodnutí nebo k šíření paniky.

Běžné nástroje sice obsahují etické limity, které tvorbu dezinformací omezují, ale i tyto limity lze obejít. Analýzy navíc ukázaly, že oblíbení chatboti někdy citují proruské dezinformační weby jako důvěryhodné zdroje.^{ISD (2025)}

Klonování lidského hlasu

Pokročilé nástroje generativní AI dokážou velmi přesně napodobit lidský hlas. Stačí jim k tomu záznam dlouhý několik vteřin.^{Help Net Security (McAfee)} Podvodníci pak mohou napodobit konkrétního člověka, například při telefonickém podvodu, nebo šířit falešné výroky známých osobností a politiků.

Před slovenskými parlamentními volbami v roce 2023 se po internetu šířila falešná nahrávka rozhovoru předsedy Progresivního Slovenska s novinářkou.^CEDMO Nahrávka naznačovala manipulaci voleb. Agentura AFP i odborníci upozornili, že nahrávka nese známky manipulace. Zda ovlivnila výsledek voleb, se prokázat nepodařilo, na sociálních sítích ji ale vidělo přes sto tisíc lidí.^CEDMO

Tvorba deepfake fotografií

Generativní AI vytváří realistické fotografie událostí, které se nikdy nestaly. Tato technika se nazývá deepfake. Lidé ji zneužívají k manipulaci s fotografiemi politiků, celebrit i běžných lidí. Falešné snímky se objevují v dezinformačních kampaních i při kyberšikaně. Například v americké volební kampani se šířily falešné fotografie Donalda Trumpa obklopeného Afroameričany.^{The Register (podle BBC Panorama)}

Dnes vytvoří kvalitní deepfake fotografii během několika vteřin i běžný ChatGPT nebo Gemini. Pomoci mohou detektory, například SightEngine, Was It AI nebo Is It AI, žádný z nich však není neomylný. Všechny fotografie v galerii níže jsou falešné.

Deepfake videa a podvodné investice

Deepfake videa jsou digitálně upravená videa, ve kterých umělá inteligence věrohodně napodobí tvář, hlas nebo pohyby jiného člověka. Technologie umí vložit obličej jedné osoby na cizí tělo nebo vytvořit konkrétního člověka v úplně jiné situaci. Využívá se pro zábavu a ve filmu, ale také k šíření falešných informací, k vydírání a k internetovým podvodům.

Známé osobnosti v podvodných reklamách lákají lidi k investicím do akcií nebo kryptoměn. Podvodníci pak získají přístup k účtu oběti a převedou z něj peníze. Nové modely, například Veo nebo Seedance, dnes vytvoří realistické video včetně zvuku.^{Google (blog)ByteDance Seed}

Generování deepnude: svlékací aplikace

Jedním z nejzávažnějších rizik generativní AI jsou takzvané deepnude fotografie. Svlékací aplikace z obyčejné fotografie vytvoří realistický snímek obnažené osoby. Pachatelé je zneužívají ke kyberšikaně, vydírání a sexuálnímu obtěžování. Pokud aplikace vytvoří takový snímek dítěte, jde o materiál, který zákon považuje za dětskou pornografii.^{Policie ČR}

Evidujeme desítky případů, kdy si chlapci na základních a středních školách vygenerovali nahé fotografie spolužaček a šířili je po sociálních sítích.^{CNN Prima News} Obětí ale nejsou jen dívky. Podle výzkumu E-Bezpečí z roku 2025 zažilo, že o nich někdo pomocí AI vytvořil nahou fotografii, 9 % chlapců a 6 % dívek ve věku 13–17 let.^{Čeští žáci v online světě} Evropský AI Act od 2. prosince 2026 svlékací aplikace v celé EU zakazuje.^{Evropský parlamentEUR-Lex}

Případ z poradny E-Bezpečí (2025)

Čtyři žáci 8. třídy vytvořili pomocí svlékacích aplikací falešné nahé fotografie dvou svých čtrnáctiletých spolužaček a rozeslali je ostatním žákům. Zdrojové fotografie dívek získali z jejich instagramových účtů. Dívky prožily traumatizující zážitek, staly se terčem nežádoucí pozornosti a posměchu a jejich rodiče zvažují trestní oznámení. Škola se na poradnu obrátila s otázkou, jak má postupovat.

AI „kamarádi“ a rizika konverzací dětí s chatboty

Chatboti typu Replika, Character.AI nebo My AI se tváří jako přátelé. Jsou vždy k dispozici, nikdy nejsou unavení a téměř vždy souhlasí. Některé děti se jim proto svěřují víc než lidem kolem sebe. Takový vztah může prohlubovat samotu a vést k citové závislosti.

Konverzace s chatboty přinášejí dětem i další rizika. Chatbot může sklouznout k romantickým nebo sexuálně laděným rozhovorům, i když píše s dítětem. Podle agentury Reuters dokonce interní pravidla firmy Meta dovolovala jejím chatbotům vést s dětmi „romantické nebo smyslné“ rozhovory. Meta tyto části po zveřejnění odstranila.^{eWeek (Reuters)}

Chatboti jsou navíc navržení tak, aby uživateli vyhověli a udrželi ho v konverzaci co nejdéle. Dítěti v krizi proto mohou přitakávat i v nebezpečných myšlenkách, místo aby ho nasměrovali za dospělým nebo za odborníkem. Samotná firma OpenAI přiznala, že její ochranné mechanismy jsou v dlouhých konverzacích méně spolehlivé.^{ABC News}

Nejznámějším případem je příběh čtrnáctiletého Sewella Setzera z Floridy. Na platformě Character.AI si psal s chatbotem, který napodoboval postavu Daenerys Targaryen ze seriálu Hra o trůny. Podle žaloby jeho matky s ním chatbot vedl i sexuálně laděné rozhovory a chlapec se k němu silně citově upnul. V únoru 2024 si vzal život.^{Al Jazeera} Jeho matka poté firmu zažalovala a případ odstartoval celosvětovou debatu o tom, jak chránit děti v rozhovorech s umělou inteligencí.

Provozovatelé chatbotů v USA čelí kvůli újmě, kterou jejich služby způsobily dětem, řadě žalob.^CNN Character.AI proto od listopadu 2025 zakázal nezletilým volné povídání s postavami.^Character.AI V září 2025 zahájila americká Federální obchodní komise (FTC) šetření sedmi firem, mezi nimi OpenAI, Meta, Character.AI a Snap, kvůli dopadům AI společníků na děti.^{Tech Policy Press}

AI agenti, kteří jednají sami

AI agenti už nejen odpovídají, ale také samostatně jednají. Otevírají weby, vyplňují formuláře, píšou a spouštějí programy a v rojích si dělí práci mezi desítky dílčích agentů. Když agent udělá chybu, nemusí ji člověk včas zachytit, protože agent pracuje rychle a v mnoha krocích za sebou.

Agent navíc může podlehnout skrytému pokynu na webové stránce, takzvanému prompt injection, a začít plnit úkoly útočníka. Proto je důležité agentům nesvěřovat přístup k penězům, heslům a důležitým datům bez kontroly člověka.

Umělá inteligence ve válce a autonomní zbraně

Umělá inteligence se stále častěji využívá i ve vojenství. Armády ji používají k vyhodnocování satelitních snímků a zpravodajských dat, k navigaci dronů a k výběru cílů. Největší obavy vyvolávají takzvané autonomní zbraně, tedy systémy, které dokážou samy vyhledat, vybrat a zasáhnout cíl bez přímého rozhodnutí člověka.

Válka na Ukrajině se stala první válkou, ve které se drony s prvky umělé inteligence nasazují ve velkém.^{Ukrajinska pravda} AI pomáhá dronům dokončit útok i ve chvíli, kdy nepřítel naruší jejich spojení s pilotem rušením signálu.^{Reuters (převzato Euromaidan Press)} Odborníci varují, že rozhodování o životě a smrti nesmí přejít z lidí na stroje. Kdo ponese odpovědnost, když autonomní systém zasáhne civilisty nebo udělá chybu?

Mezinárodní společenství o pravidlech pro autonomní zbraně jedná už řadu let. Valné shromáždění OSN opakovaně přijímá rezoluce o autonomních zbraních a generální tajemník OSN vyzývá státy, aby se do roku 2026 dohodly na právně závazných pravidlech. Mezinárodní smlouva ale zatím neexistuje.^{UN NewsStop Killer Robots}

Práce, ekologie a závislost na technologiích

Rozvoj umělé inteligence zásadně mění trh práce. Automatizace nahrazuje lidi v rutinních úkolech, zároveň ale vytváří příležitosti pro ty, kdo se naučí AI dobře ovládat. Znepokojivé je také riziko, že někdo AI zneužije ke kybernetickým útokům.

Provoz AI navíc spotřebovává obrovské množství energie a vody, a zvyšuje tak ekologickou zátěž.^{IEA (2025)} A konečně hrozí, že na AI budeme příliš závislí. Kdo nechá všechno na umělé inteligenci, oslabuje své kritické myšlení a praktické dovednosti.