Prestala som platiť za ChatGPT a vytvorila súkromné AI nastavenie, ktoré môže spustiť ktokoľvek

V poslednej dobe som sa naozaj začal venovať spúšťaniu LLM lokálne a po tom, čo som videl všetky skvelé veci, ktoré sa dajú robiť s nástrojmi MCP, som si povedal, že je čas trochu vylepšiť svoje vlastné nastavenie.

Na začiatku som sa nechal strhnúť hypom, keď bol uvedený DeepSeek R1, ale odvtedy vyšlo množstvo nových modelov. Keďže sa všetko mení tak rýchlo, myslel som si, že dáva zmysel aj upraviť môj pracovný postup.

LM Studio je najlepšia miestna aplikácia LLM, ktorú som zatiaľ používal

Ollama je dobrá, ale toto sa mi páči viac

Začal som experimentovať s lokálnymi LLM minulý rok pomocou Ollama. Fungovalo to celkom dobre, ale môj biedny MacBook Air s len 8GB unifikovanej pamäte určite nebol postavený na zvládnutie takéhoto zaťaženia. Stále som chcel skúsiť niečo iné, čiastočne z kuriozity a čiastočne, aby som zistil, či dokážem vyťažiť viac výkonu.

Preto som sa rozhodol vyskúšať LM Studio. Je to aplikácia, ktorá vám umožňuje sťahovať a spúšťať LLM priamo na vašom zariadení a má aj prehľadné používateľské rozhranie. Keďže používam Mac, podpora MLX pre mňa bola veľká vec. Ak nie ste oboznámení, MLX je Apple framework pre strojové učenie navrhnutý špeciálne pre Apple silicon.

V podstate to umožňuje modelom bežať efektívnejšie s použitím GPU. Napriek tomu som však chcel tieto slová previesť na čísla, takže som porovnal Ollama a LMStudio priamo, s tým istým modelom.

S LM Studiom som získaval viac tokenov za sekundu, ale rozdiel bol dosť malý na to, aby skutočne zmenil celkový zážitok. Napriek tomu si vezmem akýkoľvek extra výkon, ktorý môžem získať.

To povedané, nemyslím si, že je veľký rozdiel, či si vyberiete Ollama alebo LM Studio, najmä preto, že obe sa spoliehajú na podobné základné rámce na spúšťanie modelov lokálne.

Moja hlavná sťažnosť, keď som začínal, bola nedostatočná podpora multimodality. Ale to už naozaj nie je problém. Tanto Ollama, ako aj LM Studio teraz podporujú multimodálne modely a je tu niekoľko pevných možností, ktoré dokážu prekvapivo dobre zvládnuť text a obrázky na lokálnom hardvéri.

Výber správneho modelu môže byť trochu zložitý

Môže to byť drahý koníček

Keď prvýkrát nainštalujete LM Studio, prvá vec, ktorú budete musieť urobiť, je vybrať model. Môže to byť trochu ohromujúce, ak ste v tom noví, pretože neexistuje jednoznačná odpoveď „stačí použiť tento“. Správna voľba skutočne závisí od vášho hardvéru.

Ak otvoríte ponuku Vyhľadávanie modelov v LM Studio, uvidíte zoznam najpopulárnejších modelov. Jednoduchý spôsob, ako pochopiť, aké náročné bude používanie modelu, je pozrieť sa na číslo pred písmenom „B“ v jeho názve.

To „B“ znamená miliardy parametrov. Všeobecne platí, že čím je toto číslo vyššie, tým je model zvyčajne schopnejší. To tiež znamená, že bude vyžadovať viac zdrojov. Na Macu s 8 GB jednotnej pamäte mám pocit, že sladkým miestom je kdekoľvek medzi 3 a 4 miliardami parametrov. Na PC to môže byť trochu zložitejšie. Namiesto bežnej systémovej RAM je dôležitejšia množstvo VRAM, ktorú máte.

Ak máte 8 GB VRAM, môžete pohodlne experimentovať s modelmi s 7 miliardami parametrov, najmä pri ľahších kvantizáciách. Podľa mojich skúseností je najlepšie začať s menším modelom a postupne prechádzať na väčší, až kým nenájdete optimálnu úroveň.

Osobne som sa viac prikláňal k modelu Gemma 3 4B, ktorý je postavený na rovnakom základe ako modely Google Gemini. Napriek tomu by som stále odporúčal vyskúšať aj modely Qwen. V závislosti od toho, čo robíte, môžu pre vás byť oveľa lepšie.

Môžete dokonca pridať vyhľadávanie na webe k svojmu lokálnemu LLM

DuckDuckGo prichádza na pomoc

Jednou z najväčších sťažností, ktoré som videl ohľadom lokálnych LLM, je to, aké obmedzené sa môžu zdať v porovnaní s cloudovými, ako je ChatGPT, pokiaľ ide o vyhľadávanie na webe. Nie je to veľmi užitočné, ak sa opýtate na najnovší iPhone a LLM začne rozprávať o iPhone 14. To je jedna oblasť, kde mali cloudové modely zvyčajne prevahu.

LM Studio má zabudovaný systém pluginov a pridanie webového vyhľadávania je celkom jednoduché. Stačí ísť na stránku pluginu DuckDuckGo a zvoliť Spustiť v LM Studio.

Po zapnutí sa pri každom spustení modelu pod chatovacím oknom zobrazí možnosť, či chcete pre svoju otázku spustiť DuckDuckGo. Ak ju zapnete, LM Studio načíta aktuálne výsledky vyhľadávania a vloží ich do modelu predtým, než vygeneruje odpoveď.

To však nie je všetko, čo môžete s pluginmi robiť. Tím LM Studia vytvoril niekoľko pluginov, ktoré sú tiež veľmi užitočné. Napríklad majú plugin pre Wikipédiu, ktorý umožňuje vášmu LLM čítať a vyhľadávať články z Wikipédie (samozrejme).

Existuje aj plugin JavaScript Sandbox, ktorý môže byť veľmi užitočný, ak sa venujete vibe-kódovaniu a chcete rýchlo získať hrubý nápad. Ale nepovedal by som, že je dosť hodnotný na to, aby ste vytvorili niečo pripravené do produkcie.

Zanechajte korporácie

Môžete nastaviť LM Studio tak, aby ste mohli pristupovať k svojmu LLM z telefónu, ale ak chcete presunúť všetku inferenciu priamo do telefónu, je to tiež možné. Menšie LLM môžete spustiť na Androide, hoci nebudú tak výkonné ako to, čo by ste získali na svojom Macu.

Napriek tomu sa tieto ľahké modely zlepšujú neuveriteľne rýchlym tempom. A keďže sa očakáva, že ceny hardvéru porastú, nebol by som prekvapený, keby spoločnosti ako OpenAI alebo Google zvýšili svoje predplatné. Je upokojujúce mať nastavenie, ktoré týmto veciam nie je ovplyvnené.