Paměť je váš rozpočet. Model je jen jeho část.
Parametry, kvantizace a kontext bez kouzelných slibů. Co všechno se musí do paměti vejít.
Není to jen soubor s modelem
Paměť potřebují váhy modelu, výpočty i průběžná data konverzace. Část paměti současně používá macOS a ostatní aplikace. U Apple silicon sdílí CPU a GPU jednotnou paměť, ale to neznamená, že je celá její kapacita volná pro jeden model.
Rozhodujte podle konkrétní varianty modelu, požadavků použitého enginu a skutečného měření na vašem počítači. Univerzální tabulka „tolik parametrů = tolik paměti“ by byla zavádějící.
Kvantizace je kompromis
Kvantizace ukládá čísla s nižší přesností a může významně zmenšit velikost vah. Dopad na kvalitu závisí na modelu, metodě kvantizace a vašem úkolu. Menší varianta může být praktičtější než velký model, který systém neustále odkládá na disk.
Při porovnávání měňte vždy jednu věc. Stejný prompt, stejné nastavení a stejný model ve dvou kvantizacích řeknou více než dva nesouvisející screenshoty.
Kontext také něco stojí
Dlouhé zadání a historie konverzace nejsou zdarma. S růstem kontextu typicky roste potřeba paměti pro cache a práce při zpracování vstupu. Přesné chování závisí na architektuře a implementaci.
Začněte kratším kontextem. Potom postupně přidávejte reálné dokumenty a sledujte tlak na paměť, swap a odezvu v Monitoru aktivity.
Změřte užitek, ne jen tokeny
Rychlost generování je jen jeden údaj. Záleží také na čekání na první odpověď, kvalitě výsledku, velikosti kontextu a spotřebě prostředků.
Nejlepší model pro vaši sestavu je ten, který spolehlivě zvládá konkrétní práci při přijatelném čekání. Výsledky jednoho Macu nebo promptu nelze automaticky přenést na jinou konfiguraci.