Váš první lokální model. Od nuly k první odpovědi.
Co si připravit, jak vybrat první model a jak poznat, že odpověď opravdu vzniká u vás.
Začněte jedním konkrétním úkolem
Nemusíte hned stavět celý domácí AI server. Vyberte si jeden úkol: přeformulovat odstavec, shrnout text nebo vysvětlit kus kódu. První úspěch má být malý a snadno ověřitelný.
Před instalací si poznamenejte čip, kapacitu paměti a volné místo na disku. U Macu najdete tyto údaje v nabídce Apple → O tomto Macu a v Nastavení systému. Velikost modelu není totéž co celková spotřeba paměti při běhu.
Jedna z cest: Ollama
Ollama nabízí aplikaci pro macOS i příkazové rozhraní. Instalátor stáhněte z oficiálního webu a zkontrolujte aktuální systémové požadavky. Pro první pokus vyberte menší model z knihovny, který odpovídá vašemu hardwaru a zamýšlenému použití.
Následující příkaz je šablona: MODEL nahraďte přesným názvem a variantou z knihovny. První spuštění stáhne model, proto potřebuje síťové připojení.
ollama run MODELOvěřte lokální běh
Vyberte skutečně lokální model, nikoli cloudovou variantu. Po stažení modelu a všech potřebných souborů zkuste stejný dotaz s odpojenou sítí. Tím si ověříte základní generování bez vzdálené služby; není to audit všech síťových aktivit aplikace.
Zeptejte se na něco, u čeho znáte správnou odpověď. Sledujte nejen rychlost, ale i kvalitu češtiny a to, zda model dokáže přiznat nejistotu. Odpovědi mohou obsahovat chyby i při plně lokálním provozu.
Zapište si podmínky
Uložte název a variantu modelu, verzi aplikace, délku vstupu a použitý Mac. Bez těchto údajů nemá pozdější srovnání rychlosti nebo kvality velkou hodnotu.
Dalším krokem může být pohodlnější rozhraní nebo práce s vlastními dokumenty. Nejprve ale ověřte, že základní sestava funguje a zvládá váš skutečný úkol.