AI agent není deterministický program. A to je důvod, proč vám možná nefunguje

[00:00] Krásný den, vítejte u dalšího dílu podcastu Coffee Break s Filipem. Doufám, že pijete taky něco dobrého, já tady mám opět kávu. A dnešním tématem jsou naše nároky na AI, respektive to, jakým způsobem kriticky hodnotíme ty výstupy, které nám AI a převážně AI agenti dávají. Já vycházím z mý poslední zkušenosti v rámci několika měsíců, kdy velmi intenzivně používám různé AI agenty, Claude Code, Claude Cowork, OpenCode, Open Claw, Zkoušel jsem i další Codex od GPT, Manus, Perplexity Comet a zkrátka zkouším velkou spoustu agentů, no ale zároveň na druhé straně tak školím lidi. To znamená, dělám školení jak pro vývojáře, jak aplikovat agenty k engineering, tak i pro méně technický lidi, jakým způsobem přistupovat k vibe codingu, jakým způsobem používat chatovací asistenty, AI obecně, jak si organizovat nějaký knowledge base, jak pracovat s těmi svými datami a tak dál.

[01:00] Na základě této zkušenosti pozoruju takový velmi zajímavý jev mezi lidmi, kteří začínají pracovat s AI. Často říkají, že jsme tohle zkoušeli, my jsme tohle aplikovali, ale nedává nám to dobrý výsledky. To prostě není dobré. Na ten náš use case to nefunguje. Dokonce kvůli tomu zavrhujou ty AI agenty a říkají, Hele, my jsme tomu dali tady nějaký dokument a ten výsledek vůbec neodpovídá tomu, co jsme chtěli.

[01:27] To prostě si dělá, co chce, to si vymýšlí. Nebo programátoři tohle často říkají. Hele, já jsem tomu dal prostě tady nějaký programátorský úkol a ono to udělá úplně jinak, než my to tady děláme. Je to vlastně jako zajímavý, protože často se pak člověk dobere k tomu, že ty lidi tomu agentovi nedali dostatečné instrukce, kontext, nástroje a další věci, aby ten úkol vykonal. A přijde mi vlastně strašně zajímavá paralela k lidskému kolegovi.

[01:54] Když vám nastoupí novej lidský kolega, může být velmi zkušený, velmi chytrý. A tak stejně na začátku je tam nějaká frikce, to znamená nějaká učící křivka, kdy ten kolega bude dělat chyby, zároveň vy se mu snažíte poskytnout co nejvíc kontextu, co nejvíc nástrojů, aby tu svoji práci dokázal odevzdat. Zároveň mu dáváte feedback, zpětnou vazbu na to, co on vytvořil, jestli to je dobře, špatně, jakým směrem má jít a vlastně ho směřujete. No a Tady z toho mi přijde, že postrádáme u AI agentů, respektive že máme mnohem menší trpělivost s nimi. A přitom mě ta paralela přijde naprosto skoro dokonalá.

[02:36] Zkrátka, AI agent tak potřebuje taky mít kontext. To je stejné jako u toho kolegy. Potřebuje vědět, co ta firma dělá, jak s těmi věcmi pracovat, co jsou standardy, jaký je ten komunikace atd. Zkrátka potřebuje vědět, jak ta firma, nebo jak ten úkol má vypadat provedený. Zároveň potřebuje nějaké instrukce, to znamená, co přesně má dělat.

[03:02] To jsou systémové prompty u AI agentů. U lidí to jsou nějaké zadání, o čemu se má ten člověk věnovat, co jsou jeho úkoly, jak na nich má pracovat, jaké jsou očekávání a další. No a pak zároveň potřebuje i právě ty nástroje. Potřebuje mít možnost ten úkol vykonávat pomocí nějakých nástrojů. Zase paralela ke AI agentům, který potřebuje mít k dispozici ty nástroje.

[03:24] No a pak samozřejmě, když ten kolega něco dokončí, no tak potřebuje dostat zpětnou vazbu na ten výstup a pravděpodobně z začátku nebude úplně nejlepší a dostane zpětnou vazbu, bude se z toho učit, budem upravovat vlastně to nastavení toho kolegy, jakým způsobem s tím má fungovat, co jsou očekávané výstupy a stejného to u těch AI agentů. Vlastně upravujeme ty systémové instrukce, příklady, nástroje, které má a snažíme se docílit toho výsledku. No a mně prostě přijde, že často s těma lidma máme tu trpělost, že jsme se naučili, že to takhle funguje, ale s těma AI agentama ne. A já si myslím, že to je daný tím, že od AI agentů spousta lidí očekává, je to počítač, ten výsledek by měl být správnej. A jakmile není správnej, se řeknou, tyjo, to prostě nefunguje, nebudu to aplikovat, je to chybový.

[04:14] Ale To je podle mě špatný přístup, protože AI agenti nejsou deterministický program. Deterministický znamená, že na stejný vstup dostanu vždycky stejný výstup a jsem schopnej vlastně říct na základě jakého vstupu dostanu jaký výstup a vždycky ho replikovat. To znamená fakt na základě stejného vstupu dostávám stejný výsledek? No a stejně jako u lidí, tak ani u AI agentů tomu takhle není. Ten výstup prostě není deterministický a vždycky se může trošku odchýlit.

[04:43] A je to podobné jako u lidských kolegů. Vemte si, že najmete pět lidí, kterým řeknete, udělej tady ten úkol. tak samozřejmě, že každej to odevzdá trošku jinak a je jenom na kvalitě vašeho zadání a specifičnosti vašeho zadání, specifikaci očekávání atd. tak jenom na tom to závisí, jak hodně podobné ty výstupy ty kolegové dají. Protože když jim řeknete, hele, zanalizuj mi tady tu smlouvu, tak každej člověk, každej ten kolega vám dá trošku jiný výsledek a třeba se jeden se zaměří na něco ohledně vlastně toho kontraktu, druhý bude řešit tu cenu a každej se zaměří prostě na nějaké jiné části.

[05:22] Když jim specifikujete to zadání, zaměřte teď, jestli v kontraktu nejsou nějaké problematické místa, které by nám mohly způsobit škodu. Ideálně ještě jakou? Tady je příklad. V tu chvíli i ten výsledek těch pěti kolegů dostanete do velmi podobného výstupu. Nebude nikdy stejný, ale bude velmi podobný.

[05:42] A úplně stejně to funguje u AI agentů, kdy vy prostě potřebujete co nejlíp specifikovat ten výstup a vlastně jako docílit toho, aby po každý, když ten agent tu věc udělal, tak aby ji udělal dosti podobně. Nechme stranou nějaký kreativní věci, kdy třeba jako se vyplatí těm agentům nechat svobodu a nechat je tak jako rozlítnout a vidět, co z nich vypadne, ale jako k té kritice toho, že ty výsledky nejsou dobrý, nebo nejsou, nechci říct kvalitní, ale nejsou prostě jako predikovatelný tak, jak já jsem je chtěl, tak tohle je celý problém, podle mě. A ve chvíli, kdy si přenastavíme tady tu myšlenku, nebo tady to nastavení tý hlavy, že AI agenti, zkrátka, nejsou deterministický, je to nějaký statistický model, pořád predikují nějaké následující slovo, token. Já tady to přihodování strašně teda používám, protože to jako velmi zjednodušuje to, jak to funguje, ale pro tu představu, proč ty agenti můžou dělat chybu, jak si myslím, že tohle je vlastně fajn mít v tý hlavě, a opravdu těm agentům se chovat jako k lidem. Mít s tím tu trpělivost.

[06:53] Je to technologie, se kterou se musím naučit pracovat. Musím jí korektně naintegrovat, dát jí všechny ty konfigurační soubory, kontext, aby měl ten AI agent, pak ty nástroje, aby to mohl provádět, a zároveň potřebu poskytnout tu validaci a ten feedback. A to nastavím toho AI agenta na základě toho feedbacku upravovat, Tohle je jeden zásadní rozdíl mezi agentem a člověkem. Člověk, když se stane nějaká chyba nebo něco, tak se z toho poučí a aktualizuje vlastně to svoje nastavení si sám. U toho agenta, buď to má nějakou memory, tak si to nějakým způsobem uloží, ale co je lepší, tak je vlastně mu říct, ať si tohle to zapamatuje, kam si to má uložit, jak týhle informaci se má chovat, jestli je to něco, čím se má řídit vždy nebo jenom v nějaký případe, zkrátka trošku mu s tím uložením do té paměti vlastně pomoct.

[07:46] No a jed tady ten feedback loop do kola, než se ten agent lepší. Já tímhletím nechci říct, že AI agenti vyřešejí všechno a je to jenom naše chyba, že jim špatně specifikujeme zadání. Bez pochyby jsou případy, kdy ty AI agenti ulítnou a nejsou dobrý na něco a nedokážou doručit ty kvalitní výsledky. Na druhou stranu si fakt myslím, že jako na drtivou většinu věcí, co děláme, tak se aplikovat dají. A je to jenom o tom, jestli se to vyplatí, pochopitelně, protože ne vždycky se vyplatí toho agenta dokopat, aby dodělal ten úkol tak správně, jak my chceme.

[08:24] Někde je lepší to nechat dělat lidi, to rozhodně nerozporuji. Ale co se snažím říct, je to, že ne vždycky ty výstupy, které dostaneme, tak musí být vždycky na první dobrou. A musíme dát těm agentům prostor, ne aby se to naučili sami, ale spíš musíme se naučit s nimi pracovat tak, že je to nějaký učící, Algoritmus to je špatný slovo, je to nějaký učící systém, do kterého my musíme neustále dávat nový data, upravovat to jeho konfiguraci, aby rostl s náma. Zkrátka ta myšlenka, kterou v tomto díle chci sdělit je, že AI agenti nejsou deterministický systém, to znamená, že budou dělat chyby a naším cílem je toho agenta vlastně jako směřovat správně. Ty agenti běží extrémní rychlostí dopředu, plnějí ty úkoly, ale pokud my je nedokážeme jim nastavovat i mantinely a směřovat je tím správným směrem, tak ji jednou prostě začas někam odlítnou a pak už jak odlítnou, tak už pak jdou špatnou cestičkou a my musíme vracet na tu správnou trať.

[09:33] A je to opravdu, je to až jako překvapuje, že jsem nad tím nepřemýšlel takhle dřív, ale je to prostě stejný jako s lidmi. Když řídíte firmu nebo nějaký tým lidí, tak ty lidi můžou být sebe lepší, ale jdou za nějakým cílem, jdou třeba extrémně rychle a extrémně dobře, ale sem tam vám začnou uhýbat z toho, z té vaší vize toho produktu nebo tý myšlenky, nebo zkrátka zadání, co mají dělat, a vaším cílem jako toho šéfa, toho team leadera, je ty lidi směřovat správným směrem a vracet je na tu trať, aby prostě šli tam, kam vy chcete. A úplně stejný je to podle mě u těch AI agentů. Tohle si myslím, že bude jedna z nejcennějších rolí do budoucna. Lidi, kteří umějí směřovat správným směrem agenty, ať už pro vlastní podnikání tím pádem budete schopni vybudovat velmi velkou firmu, třeba v jednom člověku.

[10:30] No ale zároveň i pro nasazení v nějakých firmách. Směřovat agenty je pořád dneska dost obtížný. Ladit to, neexistuje návod. Udělej tohle a ten agent se bude chovat správně. Je to hodně o experimentování, zkoušení a hledání těch správných cestíček.

[10:51] Tolik asi k tý myšlence. Budu strašně rád, když mi do komentářů dáte vědět, co si o tom myslíte. Jestli to vidíte stejně v tu paralelu, nebo tam vidíte nějaké velké odlišnosti a že u těch AI agentů naopak by jsme měli mít větší nároky a víc validovat ty výsledky. Zkrátka, jak tady to vnímáte? Mě osobně ta paralela s těma lidma přijde vlastně strašně dobrá a dost mi pomáhá ve chvíli, kdy se třeba na něčem zaseknu a ten agent začne dělat něco jinýho, což vždycky řeknu, hele, je to stejný, jakoby jste to vysvětloval novýmu kolegovi, prostě mu to musíš popsat, musíte společně nastavit tu konfiguraci.

[11:27] Teďka poprvý to bude peklo, bude to stát mnohem víc času, než kdyby jsi to udělal sám, ale po druhý, po třetí, po pátý, tak když už to ten agent začne dělat sám a bude mít ty jasně vytyčený To je za mě jako ta hlavní myšlenka. Ještě jednou, dejte mi vědět do komentářů, co si o tom myslíte. Já vám děkuji, že jste poslouchali nebo se dívali. No a budu se na vás těšit u dalšího dílu podcastu Coffee Break s Filipem, u podcastu Deep Lung Show, nebo u dalších YouTube videí. Já se jmenuji Filip Oborník z projektu AI s rozumem.

[12:02] Ještě jednou dík moc a mějte se krásně.