Modely jsou bezstavové. Proč je váš kontext cennější než samotný AI model

Krásný den, vítejte u dalšího dílu podcastu Coffee Break s Filipem. Doufám, že pijete taky něco dobrého, já tady mám opět dneska kávu a dnešním tématem je kontext. A to vlastně z pohledu toho, jak to funguje, jak to, že nějaký nástroje a modely o vás vědí víc věcí než nějaký jiný, jak s kontextem pracovat a jak k němu přistupovat. Zkrátka to nastavění tý hlavy, jak s ním vlastně jako pracovat.

Pro začátek si myslím, že je extrémně důležitý říct, jak to funguje, když model si o vás něco pamatuje. Někdy se setkávám s dojmem toho, že když si povídám s nějakým AI modelem, tak vlastně on se učí z toho, jak já si s ním povídám. To ale není pravda. V žádných dnešních komerčních modelů tak neumí na základě konverzace, kterou s ním mám, se vlastně jako dotrénovat a přizpůsobovat se ně na míru.

Jsou tady různý pokusy, jak to dělat, tady to učení, zaběhů s těch konverzací přesně pro vás, ale to není v tuto chvíli aktuální pro ty konzumerské modely, to znamená ty modely, které normálně používáme. Zkrátka funguje to tak, že ten AI model je prostě jakási krabička a do ní jde nějakej vstup a z ní jde výstup a ten model nemá žádný stav, je bezstavový. To znamená, že on si o vás vlastně nic moc nepamatuje. Jenom prostě to, co šlo dovnitř a to, co ven.

Pomeňme pro některých, kdo jste pokročilejší, třeba cacheování, tam to je trošku složitější, ale zkrátka ten model si není schopnej zapamatovat, že jste se včera nebo předevčírem o něčem bavili, na základě toho se přizpůsobit a odpovědět mám. , tak to funguje tak, že ten model sám o sobě si nic neukládá, ale ten nástroj, který je postavený kolem toho modelu, tak si ukládá určitý stříbky informací o vás. A můžete si to představit jako normální textoví soubory, nebo jako Word dokumenty, budiž. Ono ve výsledku to jsou opravdu jenom textáky, který si někde jako ukládej, ale jsou to nějaký útržky informací, který někde jako si našel, nebo spíš konsolidoval během toho, co jste si bavili.

Takže například vy budete mít nějaký dlouhej chat, budete se bavit o nějakém vašem podnikání a OpenAI například tak na pozadí bude dělat to, že bude se ten chat analizovat a zjistit třeba, aha, tak Filip se věnuje tady AI srozumem projektu. A tuhle tu informaci si uloží do paměti. Opravdu fakt do nějaký databáze nebo jako texta jak nějaký, si to můžete představit, fakt jenom tady to jako textově. A příště, když si s tím modelem jdu povídat, tak ten model ještě předtím, než dostane tu moji otázku, na kterou se ptám, tak se předto, díky té aplikaci, či GPT, ve kterém se to běží, tak se předto vlastně jako přilepí nějaké tady ty informace, které o mě ví, takže to pak vypadá, že je tam nějaký systémový prompt, pak je tam, tady jsou údaje, co víš o uživateli, Filip Oborník dělá projekty, já si rozumím, bla, bla, bla, a teď začíná ta naša konverzace a vlastně já se ptám modelu na něco a on už ale všechny tyhle informace v rámci toho promptu vlastně dostal.

Jasně někde je to složitější, ve chvíli, kdy těch informací je hodně, ty nástroje umějí vyhledávat třeba i v historických štětech, tak tam pak jsou nějaký složitější techniky, ale ve výsledku všechno to funguje tak, že se to natáhne do toho kontextového okna. A proto třeba někdy, když ty nástroje používáte, tak máte pocit, že ta konzumace těch tokenů je jako větší, než když jste napsali ahoj, a nejednou to se žero spoustu tokenů, tak je to kvůli tomu, že se tam natáhnul tady ten kontext. funguje to úplně podobně v AI agentech, jako je Cloud Code, Codex a delší, ty zas nepoužívají tady ty Memories, nebo oni mají taky vlastní systém Memories, tam se to ukládá vyloženě na disk ty soubory, případně je konfigurujete pomocí Cloud MD a dalších souborů. Důležitá věc, kterou si z toho odníste je, modely jsou bezstavové a fakt se nepamatují to, co jste si s nima povídali.

Do budoucna to tak možná bude, teď to tak není. No a tohle podle mě otvírá tu debatu o tom, jak vlastně pracovat s tím kontextem. ai a vyzkoušet si tam různý modely. A tu samou otázku, co napíšete do chat GPT, který používáte pravidelně, nebo pokud používáte klouda, tak to napište tam, tak dejte úplně stejnému modelu v tom Open Routeru.

Uvidíte, že dostanete úplně jinou odpověď. Nebo zkuste možná ještě jednodušší anonimní režim nebo ten režim dočasnýho chatu, který má jak Cloud, tak i GPT. Napište tu samou otázku do toho anonimního chatu a pak i do toho klasickýho. Uvidíte, že ty odpovědi budou jako úplně jiný.

Tak a v tu chvíli vlastně to ukazuje ten efekt toho, že když ten model nemá přístup k tomu kontextu, tak je vlastně, ty odpovědi nebudou tak personalizovaný. Nechci říct kvalitní, protože někdy zase ten kontext, kterýmu dáte nebo ke kterému má přístup, tak může ovlivňovat tu kvalitu těch vašich odpovědí, pokud ten vlastně jako nástroj si uloží někde v Memories, že vy máte rádi, že ten model se k vám chová hezky a přikivuje vám, tak on vám bude i nadále přikivovat, což nemusí být to, co vy chcete. Takže na tohle je důležitý myslet, že ty odpovědi v těch klasických četěch těch nástrojů jsou ovlivněné tím kontextem, co už tam je. No.

Ale jak s tím kontextem vlastně pracovat, když chci třeba používat ČGPT a Clouda, nebo další systémy? Zkrátka, nechci být zavřený v nějakém jednom ekosystému. Když používáte tady chatovací asistency, tak tam je to extrémně složitý, protože oni mají vlastní systémy, jak pracovat s těma vzpomínkama, jak pracovat vlastně s těma... uloženejma datama, takže tam je opravdu jako velmi složitý přenášet informace.

Nicméně ve chvíli, kdy přejdete do světa AI agentů, který běží u vás na počítači, Cloud Code, Codex, CoWork a další agenti, který běží u vás na počítači, tak tam se to dá dělat poměrně jednoduše. A funguje to tak, že vlastně vy necháte toho agenta zapisovat všechny tyto věci do nějakého souboru. Typicky to může být TXT nebo Markdown. Markdown je nejlepší, je trošku koformatovanější, dá se líp číst, dá se tam zdůrazňovat nějaké věci.

No a vy ho necháte to zapisovat do těchto textových souborů. Vlastně postupně, jak používáte toho agenta, tak si budujete tzv. knowledge base, memory, paměť, mozek, záleží, jak tomu budete chtít říkat. Ale zkrátka postupně, inkrementálně si zlepšujete ten kontext, co mu poskytujete.

A je to pak hodně o tom, vlastně si odladit tady ten styl, pro každého bude trošku jako jinej, ale před pár týdny tak Andrej Karpaty, tak pokud to neznáte, je spolu zakladatel OpenAI a taky head of AI v Tesla bývalej, tak zveřejnil na GitHubu něco, čemu říká, že se to jmenuje LLM Viki. nebo AI Wiki, odkaz vám dám do popisku, a tam vlastně ukazuje to, jak on by si strukturoval nějakou knowledge base, nebo jak on s tím pracuje. , tak si tvořili tzv. Memories, doptávali se ho na nějaké nejasnosti a konsolidovali vlastně tu paměť.

Malá taková odbučka, pokud jste sledovali Unique Load Codu, tak jedna z věcí, co se tam hodně řešila, tak je model Kairos a jeho funkce Autodream, nebo Dream, kde vlastně ten model běží na pozadí, když vy nepoužíváte Cloud Coda a konsoliduje ten kontext, přemýšlí nad ním a vlastně tak nějak jako vytváří si nějakou lepší strukturu. Tak tadycta vlastně LLM Wiki tak je jako dosti podobná tomuhle, akorát to děláte vlastně jako vědomě. Tam je designovaný, že to poběží na pozadí. Takže ta práce s tím kontextem je vidět, že se začíná dostávat, nebo začíná se jí dávat velká pozornost, protože to je opravdu to, co pak odlišuje ty kvalitní odpovědi od těch nekvalitních, protože dneska ty modely, ty frontier modely, jsou opravdu na dosti podobné úrovni, aby jim potřeboval ten kvalitní kontext.

Já budu dělat video na YouTube, jak si vytvořit tady tu LLM paměť, kterou má Andrej Karpaty, nebo možná už na YouTube je. Pokud je, tak odkaz máte zase dole v popisku videa. A tak tam bude třeba zajímavý sledovat, jak se s tím kontextem dá pracovat jako pokročilejc. Nicméně, ve chvíli, kdy pracujete s těma agentama a máte to uložené na disku u vás, tak není zjednoduššího to synchronizovat přes Obsidian nebo Google disk, nebo si to nahrát do GitHub repozitáře, tvořit z toho různý plug-iny atd.

A zkrátka mít tu vaši knowledge base přenositelnou. Delší možností je to mít třeba jako v Notionu. Já používám taky často Notion, ale ten má jednu obrovskou nevýhodu. Je zkrátka pro ten nástroj strašně pomalý si do toho Notionu šahat a vlastně získávat ty data z něj, v porovnání s tím, když to máte zapsané přímo na disku v nějakých markdown souborech nebo v textácích.

Takže já teďka řeším to, jakým způsobem tu svoji paměť vyřešit, aby jsem jí poskytnul agentům lokálně, aby s ním fungovaly rychle, ale zároveň, abych to měl zálohovaný třeba právě pomocí toho Notionu, protože mě zase jako velmi vyhovuje. A to mě dostává trošku jako k třetímu bodu. Proč to řeším takhle? Proč třeba to všechno neleju do clouda, do jeho paměti?

A to je vlastně jako další myšlenka tohohle videa a ta je taková, že se snažím bejt tool agnostic. A tak se k tomu snažím přistupovat v rámci zprávy celého svýho kontextu. Tool agnostic znamená to, že nechci se uzavřít do nějakého ekosystému. Já bych mohl spolíhat na třeba aplikaci Cloud desktopovou a říkat mu, hele, ulož si tohle do Memories a tak dál, ale pak pro mě bude strašně těžký tu platformu opustit.

Takže já na spoustu práce s kontextem používám Cloud Coda nebo Coworka. protože ty běží u mě lokálně na počítači a snažím se instruovat, aby veškerý znalosti buď to ukládali do Notionu nebo do lokálních souborů. To znamená, že když pak přijde nějaký super duper AI agent někdy v budoucnu, tak já mu ho jenom nasměruji, hele, tady máš kontext, nějak si s tím pracuji, ale nebudu mu se řešit to, že to musím nějak složitě vydolovávat z toho, či GPT nebo z kloudu, což nikdy stejně tak kvalitně neuděláte. Na druhou stranu to chce trošku víc práce, když si ten kontext spravujete sami, ale myslím, že se to vyplatí.

A to je opravdu ta myšlenka toho be a tool agnostic, zkrátka jako přemýšlet, kde ten kontext máte a jak se k němu chováte, protože myslím si, že v budoucnu to bude důležitější více než kdy předtím, protože ty agenti se dneska extrémně zlepšujou a ve chvíli, kdy jste schopní tam nalejt dostatečně relevantní kontext, tak ty odpovědi jsou prostě víc personalizovaný a víc vám to jde na ruku. To ještě mě přivádí k další myšlence, protože jedna věc jsou tady ty soubory, ty lokální vlastně ukládání toho kontextu, konfigurační soubory a tak, ale druhá část té práce s tím kontextem, která jde s tím jako rukodrvrce, tak jsou nástroje. Možná to zní trošku Jako ne, nebo jak to říct, nezní to, že to s tím tolik souvisí, ale já vnímám nástroje, že slouží ke dvou věcem těm agentům. Buď to k provádění úkolů, to se nás s tomhle tématu jako tolik netýká, anebo právě k získávání kontextu.

Takže kromě toho, že máte nějaký kontext lokálně nebo v tom nástroji, tak zároveň ale můžete připojit další služby. Já typicky připoju GitHub, připoju Notion, připoju Notebook LM. Další, vlastně jako služby, a umožňuju tomu AI agentovi se do nich napojit, získat si kontext, který potřebuje, bez toho aniž bych mu musel říkat. To je podle mě delší extrémně důležitá věc.

Dejte těm agentům přístup tam, kde se jim může hodit. Samozřejmě řeďte ty přístupy. Já třeba do kalendáře mám jenom read-only přístup a podobné věci, aby nemohl nadělat paseku. Zkrátka, tady ty kontexty jsou za mě také důležitý.

Takže ten přístup k tomu kontextu můžete řešit nejenom těma lokálníma souborama, ale i právě nějakýma toolama, MCPčkama, který vám umožňují se tam napojit. , ale za mě teď je a bude extrémně důležitý ten kontext, takže zkuste nad tím přemýšlet takhle, ať už to děláte pro sebe, nebo třeba ve firmě, tak jak sdílet ten kontext, jak ten kontext dostat do těch nástrojů a ideálně se nezamknout do nějakého jednoho nástroje tím, že tam nalejete všechny data, protože pak se vám bude těžko odcházet To je ta hlavní message. Prostě přemýšlejte nad tím kontextem jako to, co má obrovskou hodnotu a myslím, že se vyplatí investovat čas do toho. abyste se vytvořili tu zprávu toho svýho kontextu.

Protože co pak jako se děje? Já, když budu chtít řešit nějaký třeba nový video nebo grafiku pro AI s rozumem, tak já nemusím tomu muslendelu znova vysvětlat. Já jsem Filip Oboriník, dělám AI s rozumem. Tady najdeš můj brand manuál ve Figmě.

Tady najdeš v Notionu popisy toho, co dělám. Tady je můj web. Tady je design system atd. Nemusím to vysvětlovat.

Já mu jenom řeknu, hele, prosím tě, Pojďme vytvořit tady grafiku pro thumbnail, pro nový video, nebo návrh. A on už sám je schopnej si říct, aha, potřebuji asi nějakým způsobem vyřešit thumbnail, to znamená potřebuji design guide, potřebuji se poját na předchozí thumbnails, vím, kde je najdu, protože to mám v těch konfiguračních souborech, díky nás kterým si můžu šáhnout do figmy, takže si tam něco můžu stáhnout a zkrátka ví, kde to najít. Ještě taková doplňovačka k tomu. Vy samozřejmě spoustu takových promptů třeba budete psát jako častějíc a je dobrý třeba si na to tvořit skilly.

To znamená pomoct tomu modelu najít ten kontext. Zase skilly můžou sloužit ke spustě věcí, máte to jako prompt, šablony a další věci, ale zároveň mu můžete tím pomoct najít kontext, protože skill třeba v klodu tak funguje tak, že on si ho může ten agent zavolat sám a jako obdobná věc existuje v ostatních AI agentech, já teďka používám Clouda, ale protože ho používám prostě nesadně, ale jako podobné koncepty jsou i v jiných AI agentech, tak vlastně vy v tom skillu můžete nadefinovat, Hele, tenhle skill použij, když si chceš zjistit brand manuál třeba, nebo zjistit nějaké prostě věci ohledně vizuálu brandu. No a v tom skillu pak budete mít prompt, který řekne, hele, načti si tady ten soubor, kde jsou prostě uvedený barvičky a další brand guidelines. V tomhletom souboru pak bude rozsvěstník, hele, když potřebuješ thumbnails, tak jsou tady, když potřebuješ tohle, tak je to tamhle.

Zkrátka budujete takovou mapičku, takovou mindmapu toho, kam se ten model má podívat a on si prostě najde klod MD, třeba, jo, tu hlavní konfiguraci, tam bude napsáno, pokud řešíš něco s designem, tak tady je odkaz na skill, brand manual, nebo to tomu modelu samo jako dojde, to už záleží, on si ho jako spustí, nebo to může být nějaký soubor, on to nemusí být, skill, Těch cest je tam spousta, to je zase na nějaký úplně jiný video, ale zkrátka nasměrováváte model, aby on se prokousával tím kontextem, protože vy nejste schopný vzít veškerý kontext a nalejit ho do kontextu jeho okna, to nebude fungovat efektivně, ani to prostě dělat nechcete, ale zároveň musíte tomu modelu dát nějakou cestičku, jak se tam prokousat, takže za mě je dobrý ten kontext strukturovat, ať už nějaký složkový struktuře, rozcestníkama do těch nástrojů atd. Zároveň je dobrý přemýšlet nad tím kontextem a těma konfiguračníma soubora, že to jsou živý dokumenty. To znamená, budete je pořád upravovat, budou vznikat nový, budou se stávat nevalidníma, budou tam neplatný odkazy, takže zase je potřeba ten kontext vnímat, že je to taková nekončící hra, nebo spíš nekončící údržba, ale vyplatí se to. Takže sečte na Podtrženo, Kontext je extrémně důležitá věc při práci s AI a myslím si, že bude důležitější a důležitější a pokud už teďka si nastavíte správný fungování s vaším kontextem, tak vám to pomůže.

Cílem toho podcastu nebylo tak nějak říct přesný metody, protože se to opravdu liší pro každý nástroj, který používáte, jaký máte workflow, jestli máte tým, jestli jste sami a těch proměnejch je tam prostě celá řada, ale zkrátka ta myšlenka byla nastínit vám Proč ten kontext je důležitý, jak fungujou trošku ty jazykový modely, že jsou vlastně bezstavový, že byste se tím měli zabývat a vlastně jako naznačit nějaký cestičky, kudy by to mohlo jít. To je za mě všechno pro tady tu epizodu podcastu Coffee Break. Já se jmenuji Filip Oborník z projektu AI s Rozmem. Budu rád, když mi dáte vědět do komentáře, jak třeba kontext, ať už na projektech vlastních, nebo třeba firemní, nebo osobní řešíte vy, jestli to řešíte v těch nástrojích jako takovej, nebo se snažíte být právě tool agnostic, abyste se nezamkli do nějakého ekosystému a řešíte to v rámci nějakých agentů.

Zkrátka jak k tomu kontextu přistupujete, můžete mi to napsat do komentáře dole pod video nebo pod podcast a nebo můžete se přidat do naší community AI srozumem na Discordu, kde můžeme tedy ty témata probírat taky. A v neposlední řadě bych vás rád pozval k poslachu další ho podcastu, nejenom Coffee Breaku, ale i podcastu Deepling Show, který tvořím se svým kolegom Jindřichem a bavíme se o různých tématech ze světa AI, jsou tam různý pohledy, mluví víc technický, Jindřichův zase víc jako produktovej a biznisovej a zároveň plánujeme si blízké době zvát hosty, takže se máte určitě na co těšit. Ten podcast najdete na YouTube, Spotify a dalších podcastových platformách pod názvem Deepling Show. Díky moc, že jste poslouchali, že jste se dívali.

Mějte se krásně a budu se na vás těšit u dalšího videa.