Iga päev mõni ütleb 'käivitan oma LLM-i kohalikult'. Aga mida see tähendab — kui suur LLM, mis kvaliteet, mis sa pead ostma? See artikkel on praktiline juhend.

Põhireegel: VRAM on kõik

AI mudel vajab VRAMi (graafikakaardi mälu). Mitte CPU. Mitte RAM. VRAM. Reegel: mudeli suurus + 2 GB peab mahtuma VRAMi. 7-miljardiline mudel (LLM, näiteks Llama 3.1 8B) vajab 5-6 GB VRAMi. 13-miljardiline vajab 9-10 GB. 70-miljardilist mudelit (mis on tegelikult hea) ei jookse 24 GB kaartil — selleks vaja 48 GB või kvantiseeritud versioon, mis on aeglasem ja halvem.

Mitmesugune GPU 8 GB ja 24 GB VRAM-iga
VRAM on kõik. CPU on teisejärguline.

8 GB VRAM (~300 € kaart): mida saad teha

RTX 3060 8 GB, RTX 4060 8 GB. Mis töötab: Llama 3.1 8B, Mistral 7B, Phi-3 mini. Tekstiga töötamine — okei, mitte fantastiline. Stable Diffusion 1.5 — töötab. SDXL — vaevu, aeglaselt. Video generatsioon — mitte. Hea sissejuhatuseks, mitte hea pärisaegseks tööks.

12 GB VRAM (~500 € kaart): magus koht

RTX 3060 12 GB (vana, soodne), RTX 4070 12 GB (uus). See on magus koht. Mis töötab: Llama 3.1 8B kvaliteetne, Mistral 12B (parem), Stable Diffusion XL korralikult, Flux.1 schnell-versioon. Mis ei tööta: 70B LLM-id, suuremad video mudelid.

Ollama jooksutab kohalikku LLM-i
Ollama + LM Studio teevad kohaliku LLM-i seadistuse kahe klikiga.

Mu arvamus: RTX 3060 12GB on parim hinna-kvaliteedi vahekord 2026-l. ~350 eurot uuelt, 200-250 eurot kasutatuna. Sa saad 80% sellest, mida 24GB kaart sulle annab, 30% hinna eest.

"Kohaliku AI kontekstis 'parim kaart' tähendab tihtipeale 'vanem kaart, mis ei makse palju, aga mis ei kuulu välja'."— r/LocalLLaMA reddit kasutaja

24 GB VRAM (~1500-2000 €): pro versioon

RTX 3090 (kasutatuna 700-900 €), RTX 4090 (1800+ €). Mis töötab: Llama 70B kvantiseeritud, suured Stable Diffusion mudelid, mõni videomudel (LTX-Video, Wan 2.1 — aeglaselt). Mis ei tööta: tõeliselt suured mudelid (Mixtral 8x22B, Llama 405B). Selle jaoks vaja kahte 4090 või tööstuslik kaart.

Soovitus

Kui sa pole kindel — alusta RTX 3060 12GB-ga. Ostsin selle kaks aastat tagasi 280 euroga, ja olen sellega õnnelik. CPU ja RAM ja muu süsteem ei mängi nii suurt rolli — vana Ryzen 5600 + 32GB DDR4 + 1TB NVMe SSD on okei. Kõik koos: ~600 eurot uuelt, 350 eurot kasutatuna. Selle peal saab Llama 3.1 8B, Stable Diffusion XL, Whisper transkribeerimine, ja pala muudki.