Gemma 4 práve nahradila celý môj lokálny LLM stack

Lokálne LLM pre mňa boli väčšinou novinkou. Používal som ich odkedy sa stali pohodlnými, ale stále, väčšinou kvôli novinke. Spustil by som jeden a potom tam sedel a premýšľal: hej, toto sa deje na mojom počítači! Je to super. Ale pre väčšinu praktických prípadov použitia to bolo asi všetko.

Pretože keď to myslím s niečím vážne, stále siahnem po veľkom chatbotovi ako Claude, Gemini alebo ChatGPT. Ani sa nemusíte pýtať prečo. Aby model bežal rozumne rýchlo na mojom alebo vašom počítači, musí byť malý. Malé modely nie sú ani zďaleka také schopné alebo presné ako veľké cloudové. Takže ak chcete, aby bol lokálny LLM skutočne praktický, zvyčajne potrebujete prehnanú techniku: veľkú GPU, schopný CPU a veľa, veľa RAM. Väčšina z nás to nemá. Koniec koncov, spoločnosti zaoberajúce sa AI infraštruktúrou sú zaneprázdnené kupovaním všetkej RAM, takže my nemôžeme. Je to boj do kopca.

Príbeh však nie je až taký pochmúrny. Nedávno Google uviedol na trh sériu modelov Gemma 4. To je iné ako Gemini. Nie je to model, ktorý poháňa chatbot, ale oba zdieľajú istú DNA. Najväčším prekvapením pri Gemma 4 je, že je úplne otvorený. Licencia Apache! To samo osebe ho robí výnimočným.

To nie je všetko. Gemma 4 má za sebou aj veľmi zaujímavý tréning s MoE. Jednoducho povedané, nastavenie mixture-of-experts tu funguje inak. Umožňuje to, aby sa Gemma správala s niečím bližším presnosti modelu 26B, pričom beží rýchlosťou modelu 4B.

Gemma 4 prichádza aj v menších variantoch ako E4B a E2B. Tieto sú určené pre oveľa menší hardvér, možno dokonca niečo ako Raspberry Pi. Ale dôležité je toto: nie sú naozaj porovnateľné s modelmi, ktoré sme mali predtým v tejto veľkosti. To je to, čo ich robí zaujímavými.

Testovanie Gemmy 4

Od začiatku do konca

Chcel som vysvetliť, ako to Google dokázal a prečo Gemma 4 pôsobí tak inak, ale úprimne, je jednoduchšie to jednoducho ukázať v akcii.

Už som mal Continue.dev nastavený vo VS Code pre lokálne kódovanie. OpenClaw mám nastavený s LM Studio. Tiež mám Aider, pre prípad, že by som chcel niečo bližšie k Claude Code bežiacemu lokálne. Všetky tieto môžu byť nastavené tak, aby fungovali s Gemma 4 cez LM Studio, a je to celkom jednoduché nastavenie vďaka API endpointu LM Studio podobnému OpenAI.

Pre tento test používam model Gemma 4 E4B. Pre kontext, moje zariadenie má 12GB RX 6700XT a 64GB DDR4 RAM. Viem, že moja GPU zvládne viac než malý model, ale držím sa tohto, pretože chcem ho úplne naložiť na GPU. Skúšal som väčšieho brata a jednoducho nebol taký rýchly.

Ako základný test, začnime s písacou úlohou. Toto je aj jedna z hlavných výhod lokálnych LLM: môžete do nich písať súkromne, bez toho, aby sa niečo z toho používalo na tréning. A s lokálnymi modelmi môžete tiež obísť niektoré z obmedzujúcich cenzúr a odmietavé správanie, ktoré vidíte u veľkých chatbotov.

Tak som požiadal Gemmu, aby odpovedala na cenovú ponuku.

Reagujte na tento odsek. Namietajte proti nemu, ale používajte presne rovnaký tón. Neoslovujte ho priamo.

Odpoveď bola dobrá! Nedostanem sa k hlbšej argumentácii. Gemma 4 E4B na to odpovedala za 0,26 sekundy. Hoci predtým premýšľala 5 sekúnd. To je na mojom počítači s RX 6700XT.

To by vám malo dať predstavu o tom, prečo je to pre mňa vzrušujúce. Jednou z najväčších perspektív schopného lokálneho LLM, aspoň pre mňa, je jeho použitie s mojím denníkom. Preto sa tak neúnavne snažím dostať LLM do Obsidianu. Veľa píšem do svojho denníka a niekedy je príjemné získať ďalšiu perspektívu na to, čo som napísal. Nemôžem sa opýtať človeka, pretože je to hlboko súkromné. Ale lokálny LLM je súkromný spôsobom, akým cloudové nástroje jednoducho nie sú. Práve z tohto dôvodu nemôžem tento experiment tu zdieľať, takže namiesto toho urobme s ním niečo iné.

Písanie textov nie je všetko, čo Gemma dokáže

Daj oči do práce

Riadok Gemma spĺňa všetky správne kritériá pre lokálny modelový stack: myslenie, nástroje a víziu. Použime tú poslednú časť.

Chcel som využiť vizuálne schopnosti Gemmy na premenovanie niektorých fotografií a nahradenie ich názvov súborov prirodzeným popisným textom. Mohol som to urobiť cez VS Code, alebo s OpenClaw, alebo s Aider. Existuje veľa spôsobov, ako použiť model na úlohu kódu ako táto. Ale tentoraz som použil chatovací panel LM Studio s promptom ako tento:

Potrebujem Python skript, ktorý prechádza všetky obrázky v aktuálnom priečinku (jpg, jpeg, png, gif, webp, bmp), odosiela každý ako obrázok kódovaný v base64 do lokálneho API kompatibilného s OpenAI na http://127.0.0.1:1234/v1 použitím modelu google/gemma-4-e2b a žiada model, aby popísal obrázok konkrétnou prirodzenou frázou pod 100 znakov bez pomlčiek. Skript by mal premenovať každý súbor na tento popis, pričom zachová pôvodnú príponu súboru malými písmenami, preskočí súbor, ak súbor s týmto názvom už existuje, a počas behu zobrazovať priebeh.

Gemma odpovedala za 0,54 sekundy. Ani nie za celú sekundu. Mal som svoj kód a dokonca mi povedala, ktorý pip balík potrebujem nainštalovať, aby to fungovalo. Nainštaloval som ho, spustil súbor .py a fungovalo to.

Nepáčili sa mu súbory .heic z môjho iPhonu a jednu batériu označil nesprávne, ale pri všetkom ostatnom to zvládol dokonale. Ušetrilo mi starosti s vymýšľaním popisov k hromade fotiek. Dôležitejšie je, že to bolo rýchle. Nemusel som nahrávať svoje fotky na cudzí počítač. To znamená, po prvé, fotky zostávajú na mojom zariadení, a po druhé, neplytvá sa šírkou pásma na nahrávanie na internet. To je ešte dôležitejšie, keď pracujete s veľkým množstvom veľkých fotiek.

Najmenší model Gemma 4 je veľmi schopný model vzhľadom na svoju veľkosť, ale je potrebné rešpektovať jeho limity. Najväčšou slabinou lokálneho LLM stacku je veľkosť kontextu. Jednoducho nemôžem dosiahnuť to, čo ponúkajú Gemini alebo ChatGPT v tomto ohľade. Takže ak chcem niečo ambiciózne, napríklad simulátor celého slnečného systému v jednej odpovedi, lokálny model bude mať problémy. Ale ak ho chcem použiť na ladenie kódu, môže to absolútne zvládnuť. V jednom z tých istých testov som namiesto Claude na ladenie kódu ChatGPT použil Gemmu. A chybu našla na prvý pokus. Vôbec to nie je zlé.

Lokálne LLM sú teraz praktické

Teraz to už vidím. Do svojho nastavenia OpenClaw som už pridal väčší model Gemma ako zálohu. Určite budem pokračovať v používaní toho skriptu na hromadné premenovanie fotiek. Budem používať silnejší a rýchlejší lokálny model so svojimi denníkmi. Lokálne LLM sa stávajú čoraz použiteľnejšími. Už teraz rozmýšľam o zostavení lokálneho prepisovača a zhrnujúceho nástroja pre stretnutia s jeho pomocou.

Môj hardvér je pre malý model ako Gemma 4 E2B prehnaný. Ale toto je súčasťou pointy. Na plynulý zážitok s týmto zariadením nepotrebujete absurdný hardvér. Väčšina moderných počítačov ho dokáže bez problémov spustiť.

Lokálny LLM už nie je len hračka, ktorú spustíte, aby ste sa čudovali, že funguje offline. Už to nie je len novinka, ktorú predvádzate, pretože pôsobí futuristicky. Po prvýkrát za dlhú dobu to pôsobí ako niečo, čo môžem skutočne začleniť do svojho denného nastavenia a ponechať tam.