Nový hardware
Úvodem Ondra vysvětluje, proč hackathon vznikl. Na výzvu z veřejného videa se přihlásilo zhruba šest lidí, domluvili se čtyři a dorazili tři. Díky podporovateli má Ondra nový stroj s 96 GB RAM a chce zjistit, jak ho co nejlépe využít a jaké modely na něm poběží. Obavu má z jedné věci. Kdyby na stejném stroji současně běžel agent Hermes i lokální model, model by mohl spotřebovat sdílenou paměť a agent by přestal fungovat. Dnes proto běží Hermes zvlášť na počítači s čipem M1 a 16 GB. Otázka, zda rozdělení zůstane, nebo vše pojede z jednoho stroje, je jedním z cílů celé série. Po prezentacích naváže pokračování seriálu AI Series s instalací Hermese.
Kdo prezentuje
Jako první vystupuje Jirka. Pracuje v IT, primárně v automatizacích, testování softwaru a bezpečnosti, konkrétně v QA, kde podle něj vše začíná i končí u analýzy toho, co potřebuje zákazník. Sám o sobě říká, že není programátor a ani se tak nechce označovat, protože mu vyhovuje stát někde mezi. S AI experimentuje a staví na ní řadu vlastních aplikací. Ondra ho oslovil, aby ukázal svá řešení i chyby, které při tom udělal. Prezentace proto není produktová ukázka, ale soupis zkušeností: co nefungovalo, co se osvědčilo a jak dnes k práci s modely přistupuje.
AI není vyhledávač
První chybou bylo podle Jirky používat AI jako vyhledávač: položit dotaz a čekat odpověď. Druhou bylo snažit se AI nasadit za každou cenu, i tam, kde existují levnější a efektivnější automatizační nástroje. Dnes s modelem pracuje jako s partnerem a prodlouženou rukou. Ví, jak má výsledek vypadat, a modelu deleguje jen konkrétní část práce, přičemž výstup kontroluje. Místo „napiš mi tabulku“ popíše, jakou tabulku chce, jaké má mít sloupce a co v ní být nemá. Jako vodítko pro psaní promptů používá akronym CRISP, který ho nutí zadat kontext, roli, instrukce, specifikaci a příklad.
Plán a dokumentace
Než Jirka začne cokoli psát, sestaví plánovací markdown soubor. Promyslí v něm, co má aplikace dělat, co dělat nemá, jak má vypadat výstup a v jaké architektuře ji postaví. Realizace je pak podle něj jednoduchá. Řeší tím i problém, který zná mnoho lidí: když se kontext blíží limitu, model zpomaluje, zapomíná a vrací zmatečné výsledky. Proto si nechává po částech kódu dělat shrnutí a psát dokumentaci, včetně komentářů k jednotlivým funkcím, které mají být malé. Model se pak má čeho chytit a on sám rozumí, co systém dělá. Černou skříňku, která neví kam posílá data, odmítá.
Volba modelu
Jirka je zaměřený na bezpečnost a chce mít svá data u sebe, proto používá lokální modely přes LM Studio. Na začátku podle něj člověk sáhne po největším modelu a vytíží hardware naplno, jenže výsledek trvá dlouho. Pro vytažení údaje, kdo smlouvu podepsal, stačí malý model. Velký má smysl až tehdy, když je potřeba smlouvu pochopit, rozebrat její paragrafy nebo posoudit soulad s právem. Model se podle něj vybírá jako nástroj, ne jako náboženství. Další zkušenost: při překlepech v češtině testované čínské modely nepochopily dotaz, Gemma 4 od Googlu si s nimi poradila lépe.
Fakturáček
První ukázkou je aplikace Fakturáček na zpracování faktur. Jirka nahraje například e-mail s fakturou od Apple a workflow postupně vytáhne číslo faktury, splatnost, datum vystavení a další údaje. Zjistil, že AI se snaží vyhovět a bere jakékoli nalezené číslo jako hotovou věc, takže bylo nutné přidat pojistky, odkud přesně číslo brát. Aplikace nic nedělá sama, každý krok schvaluje. Když opraví chybné číslo, systém se z toho poučí. Faktury pak exportuje do Pohody nebo posílá do iDokladu a umí spárovat platby z bankovního výpisu v CSV. Konkurovat fakturačním systémům nechce, jde mu o vlastní přehled.
Brain a knihovna
Druhou aplikací je Brain na smlouvy, pojištění, spotřebiče a záruky. Dotazy přijímá přes webové rozhraní, e-mail i Telegram. Workflow nejprve ověří, zda zpráva přišla z povolené adresy, jinak ji zahodí, a teprve pak ji čte lokální model. Odpovědi třetím stranám rozepíše, ale odeslání vždy potvrzuje Jirka. Problém byl, že model přečetl jen první stránky smlouvy. Řešením je AnythingLLM, který Jirka přirovnává ke knihovníkovi: dokument rozdělí na části a modelu podá jen ty relevantní. Systém běží bez internetu, výjimkou jsou kurzy ČNB a data OTE. Umí i prodloužit záruku podle nahrané faktury.
Cesta je cíl
Jirka staví nástroje primárně pro sebe: časovou aplikaci s upozorněním na schůzky, stavební deník, aplikaci na účtenky nebo tisk etiket. Na vývoj má tým patnácti agentů s jedním velícím, od analytika po architekta. Nejsilnější model nasazuje jen tam, kde je potřeba, a bezpečnostní kontrolu kódu dělá až na konci. Autonomní agenty, kterým by předal otěže, nepoužívá, protože chce rozumět systému a za výsledek ručit svou odborností. Lokální modely nepovažuje za slepou cestu, zvlášť u dat, která nechce mít online. Nejlepší aplikace je podle něj ta, u které uživatel o AI vůbec neví. Video ZDE nebo ZDE.
