Boti nahrazují jednoho agenta

Od agenta k botům

Ještě nedávno se mluvilo o agentech, dnes se mluví o botech. Rozdíl je do velké míry v pojmenování — bot je v podstatě agent, který dostal jméno a konkrétní roli. Podstatnější je ale posun v přístupu. Jeden agent, který měl umět úplně všechno, se ukázal jako slepá ulička. Když po AI chcete, aby zvládala každou úlohu, výsledek za tím zaostává. Nabízí se přirovnání k firmě: jak organizace roste, přestává na všechno stačit jeden člověk a vznikají oddělení — personální, finance, marketing. Stejně to funguje i tady. S rostoucí složitostí přijde čas vytvořit roli, a když se role nafoukne, dostane podrole. Šéf marketingu tak může mít pod sebou specialistu na SEO i na sociální sítě.

‍

Co přinesli boti

Spouštěčem téhle vlny byli Grok boti. Během chvíle byl celý X zaplavený nadšenými reakcemi a první dojem byl skutečně silný. Unikátní je hlavně to, že se boti mezi sebou baví a vy jako uživatel vidíte, jak si předávají zprávy a jak spolu komunikují. Sdílejí si navzájem informace i přístupy, což u jiných řešení naráží. Druhá silná stránka je přístup postavený kolem virtuálního počítače v cloudu: pokud má nástroj jen webovou aplikaci a žádný konektor, tahle cesta k němu zatím funguje nejlépe ze všech platforem. Zásadní omezení je, že celé řešení běží výhradně v cloudu, žádná lokální varianta neexistuje.

‍

Kde to drhne

Výhody mají svou cenu, a to doslova. Boti spolu komunikují prakticky nepřetržitě a udržují otevřené okno, takže spotřeba tokenů je enormní. První limit padl po třech hodinách používání, následoval upgrade na dražší tarif. Provozovatel navíc opakovaně resetuje tokeny dobrovolně — evidentně chce využít zájmu, protože data od uživatelů mají obrovskou hodnotu. Slabinou je také čeština, mluvená i psaná, kde za konkurencí znatelně zaostává. A pak je tu volba modelu: k dispozici je jediný, nelze si vybrat jiného poskytovatele ani určit, že jednodušší úkony jako čtení mailů obslouží méně náročný model. Struktura konverzací je navíc stavěná hlavně pro mobil, zprávy jsou krátké.

‍

Odpověď konkurence

Tempo dnešního vývoje ilustruje, že konkurence měla odpověď do pěti dnů. Je ale férové říct, že šlo z velké části o marketing — místo skutečných botů se přebarvilo něco, co existovalo dávno předtím pod názvem profily. Rozdíl je podstatný. Profil je zcela samostatný: při vytvoření si zkopíruje všechno, ale dál se vyvíjí odděleně, nepřebírá dodatečně skilly a nesdílí přístupy. Jakmile zprovozníte přístup pro jednoho, druhý ho automaticky nemá. Vzájemná komunikace mezi nimi také není na stejné úrovni. Na druhou stranu jde o open source, takže věci, které uživatelům vadí, dřív nebo později někdo vyřeší.

‍

Proč reagují jinak

Rozdílná rychlost odezvy má technické vysvětlení. U agenta, který se vyplatí tokenově, platí, že pokud v daném vlákně delší dobu nic neřešíte, po zhruba 24 hodinách nečinnosti se vlákno odpojí. Když pak pokračujete, musí se znovu přihlásit a načíst, což se projeví jako prodleva. Cloudové řešení odpovídá okamžitě právě proto, že spojení a tokeny drží neustále otevřené. Je to přímý kompromis: okamžitá reakce proti nižší spotřebě. Za nižší náklady zaplatíte čekáním, za okamžitou odezvu zaplatíte tokeny. Podobný kompromis platí i u složitosti nastavení, která je u flexibilnějších řešení výrazně vyšší.

‍

Operační systém pro agenty

Zajímavá věc přišla z úplně jiného směru, než se čekalo — ne od velkých výrobců systémů, ale od open source komunity. Jde o upravenou verzi Linuxu připravenou na agenty. Své modely a agenty do systému přidáte jako plnohodnotné uživatele na stejné úrovni, jako je člověk. Můžou systém ovládat, ale hlavně ho můžou také měnit. Dostanete lehký základ bez zbytečností a všechno ostatní si doprogramujete pomocí agentů. Díky té lehkosti to rozjedete skoro na jakémkoli počítači, stačí pár gigabajtů paměti. Součástí je systém automatických snapshotů, takže když agent systém poškodí, nastartujete předchozí stav.

‍

Hardware pro lokál

Pokud chcete modely provozovat lokálně, hardwarová doporučení se posunula. Jako rozumné minimum na zkoušení lehčích lokálních modelů a jemné programování stačí kompaktní stolní počítač s 32 gigabajty paměti, vejdete se do padesáti tisíc korun. Klíčový parametr ale není jen velikost paměti, nýbrž její propustnost. Modely do paměti neustále sahají a potřebují rychlou komunikaci, takže rychlost paměti rozhoduje. Mezi dvěma stroji může být dvojnásobná paměť, ale skoro čtyřnásobná propustnost. Konkrétně: 15 tokenů za sekundu u čtyřmiliardového modelu proti 25 tokenům za sekundu u modelu s 27 miliardami parametrů. U nejvyšší varianty s 96 gigabajty jde o 1,2 terabajtu za sekundu, tedy sedmkrát více než u nejlevnější.

‍

Klíč, nebo předplatné

Poslední zásadní rozhodnutí je, jak do agenta dostat model. První cesta je API klíč — platíte za spotřebované tokeny, což znamená, že každá úloha stojí peníze a při ztrátě kontroly může jít o velké částky. Navíc musíte vytvářet klíče pro každou platformu zvlášť, což řeší agregátory nabízející všechny dostupné modely pod jedním účtem za poplatek 5,5 procenta. Druhá cesta je propojení agenta s vaším měsíčním předplatným přes OAuth. Tahle varianta je zásadně výhodnější: za měsíční poplatek dostanete násobně víc tokenů než za stejnou částku přes API. Připojit lze i víc předplatných najednou. Za měsíc experimentování padlo celkem 600 dolarů a bez pozornosti se dá propálit 150 dolarů denně.

‍