Az AI nem csak a felhőben fut: a saját gépeden, internet nélkül is elindíthatsz egy modellt. Ez az alapozó megmutatja, hogyan kezdj hozzá, és melyik modell mekkora gépre való.
1. Mi az a helyi AI, és miért érdemes kipróbálni
Amikor egy AI-asszisztenssel beszélgetsz, a kérdésed általában egy távoli szerverre megy, ott számolja ki a választ egy nagy gép, és az eredmény visszajön hozzád. A helyi AI (más néven helyben futtatott modell) ennek a fordítottja: a modell a te gépeden fut, és a kérdésed ki sem lép a gépedből.
Miért jó ez?
- Adatvédelem: a dokumentumaid, leveleid, jegyzeteid nem kerülnek egy külső cég szerverére. Ha ügyféladatokkal vagy belső anyagokkal dolgozol, ez sokat számít.
- Ingyenes használat: a modellek nagy része ingyenesen letölthető, és nincs havi díj vagy tokenköltség. A gépet persze meg kell venni.
- Internet nélkül is megy: a letöltés után a modell offline is működik.
Mi a hátránya?
- A legnagyobb, legerősebb modellek nem férnek el egy otthoni gépen. A helyben futó modellek általában kisebbek, mint a felhős óriások, ezért összetett feladatoknál gyengébbek lehetnek.
- A sebesség a géptől függ. Egy gyengébb gépen a válasz lassabban csordogál.
- Neked kell karbantartani: frissítés, modellcsere, tárhely.
Nem kell választanod: sokan a kényes anyagokat tartják helyben, a nehéz feladatokat pedig felhős AI-ra bízzák.
2. Ollama: a legegyszerűbb indulás
Az Ollama egy ingyenes program, amivel egy parancssorból (vagy a saját alkalmazásából) letölthetsz és elindíthatsz helyi modelleket. Mac, Windows és Linux alá is van változata, a telepítő a hivatalos oldalról tölthető le. A saját gépeden egy kis szolgáltatást indít, amihez más programok is tudnak csatlakozni (például az AnythingLLM, lásd lent).
A leggyakoribb parancsok:
ollama pull <modellnév> letölti a modellt
ollama run <modellnév> elindítja, és beszélgethetsz vele a terminálban
ollama ls megmutatja, mi van letöltve
ollama rm <modellnév> letöröl egy modelltA `<modellnév>` helyére az Ollama könyvtárából (ollama.com/library) választasz. A modell neve után kettősponttal megadható a változat, például egy kisebb vagy nagyobb méret.
Mire jó? Gyors kipróbálásra, kisebb szkriptekhez, és arra, hogy más programok mögé kiszolgáljon egy modellt. Ha nem szeretsz parancssorban dolgozni, a következő szakasz programjai kényelmesebbek.
3. AnythingLLM: kérdezz a saját dokumentumaidból
Az AnythingLLM egy ingyenes asztali alkalmazás, ami a helyi modelledhez egy chat-ablakot és dokumentumkezelést ad. Összekötöd az Ollamával, feltöltesz PDF-eket, jegyzeteket, szöveges fájlokat, és utána kérdezhetsz belőlük: a válasz a saját anyagaidra épül, nem a modell általános tudására. Ezt a módszert szokták RAG-nak hívni (a modell előbb kikeresi a releváns részeket a dokumentumaidból, és csak utána válaszol).
Hogyan kapcsolódik az Ollamához? Az AnythingLLM beállításaiban a modell szolgáltatójának az Ollamát választod, megadod a helyi címet (az Ollama alapértelmezetten a saját gépen, a 11434-es porton hallgat), és kiválasztod a már letöltött modellt. Ezután a dokumentumokat egy úgynevezett munkaterületre (workspace) tölted fel.
Mire jó? Céges kézikönyvek, szerződések, jegyzetek átfésülésére, összefoglalásra, gyors keresésre a saját anyagodban.
Egy bekezdés az LM Studióról: ez egy másik asztali program, ami grafikus felületen mutatja a letölthető modelleket, letöltés után beszélgetni is lehet bennük, és egy helyi szervert is el tud indítani, amelyhez más programok csatlakozhatnak. Aki kerüli a parancssort, ott kezdheti az ismerkedést. Az Ollama és az LM Studio felfogható egymás alternatívájának.
4. Két szó, amit érdemes megérteni, mielőtt modellt választasz
- Paraméter: a modell „agyának” mérete, milliárdokban (angolul billion, rövidítve B) számolva. Nagyjából: minél több paraméter, annál okosabb lehet a modell, de annál több memóriát és számítást igényel. A modellek nevében gyakran látod: „8B” vagy „27B”.
- Kvantálás: a modell „tömörítése”. A modell számait kevesebb bittel tárolják, így kisebb lesz a fájl, és kevesebb memória kell hozzá, kis pontosságvesztés árán. Ezért kell mindig megnézni, hogy egy letöltési méret melyik kvantálásra igaz.
5. Modell-táblázat
Csoportok: kis (8-16 GB-os gépekre), közepes (32 GB), nagyobb (64 GB felett). A paraméter és a letöltési méret az Ollama-könyvtár mért adata (a letöltési méret a rétegek összege, 1 GB = 10^9 bájt, a megadott kvantálással). A memória-oszlopot szándékosan nem töltöttem ki számmal: a memóriaigényt nem mértük, csak a letöltési méretet. A 6. pont megmondja, hogyan számolj vele.
| Csoport | Modell (letöltési név) | Paraméter (Mrd) | Letöltés (GB, kvantálás) | Mire jó | Miben gyenge | Licenc |
|---|---|---|---|---|---|---|
| kis | llama3.2:3b | 3,2 | 2,02 GB, Q4_K_M | Gyors, kis gépen is futó általános segéd: rövid szövegek, egyszerű kérdések. | Összetett feladatoknál és hosszú gondolatmenetnél gyenge. Magyar nyelven nem mértem. | LLAMA 3.2 COMMUNITY LICENSE AGREEMENT (saját feltételek, céges használat előtt olvasd el) |
| kis | gemma3:4b | 4,3 | 3,34 GB, Q4_K_M | Általános szöveges feladatok kis gépen, gyors válasz. | Kicsi, ezért pontatlanabb. Magyar nyelven nem mértem. | Gemma Terms of Use (saját feltételek, céges használat előtt olvasd el) |
| kis | qwen3:8b | 8,2 | 5,23 GB, Q4_K_M | Jó általános kezdő modell: szöveg, összefoglalás, kérdezz-felelek. | Hosszabb gondolatmenetnél hibázhat. Magyar nyelven nem mértem. | Apache License (szabadon használható, céges célra is) |
| kis | gemma4:e4b | 7,5 | 6,58 GB, Q4_K_M | Újabb generációs kis modell általános feladatokra. | Új, kevés saját tapasztalat vele. Magyar nyelven nem mértem. | Apache License (szabadon használható, céges célra is) |
| közepes | phi4:14b | 14,7 | 9,05 GB, Q4_K_M | Okfejtés, magyarázat, kisebb szakmai kérdések. | A kontextusa a többihez képest rövid, hosszú dokumentumnál ez szűk lehet. Magyar nyelven nem mértem. | MIT License (szabadon használható, céges célra is) |
| közepes | gpt-oss:20b | 20,9 | 13,79 GB, MXFP4 | Nyílt súlyú általános modell. | Nem ellenőriztem, mennyire kényelmes a 32 GB-on. Magyar nyelven nem mértem. | Apache License (szabadon használható, céges célra is) |
| közepes | mistral-small:24b | 23,6 | 14,33 GB, Q4_K_M | Általános, vállalati célra is használható (lásd licenc). | Rövidebb kontextus. Magyar nyelven nem mértem. | Apache License (szabadon használható, céges célra is) |
| közepes | gemma4:31b | 30,7 | 20,39 GB, Q4_K_M | Nagyobb, újabb általános modell. | A fájl a 32 GB-os gép memóriájának nagy részét viszi. Magyar nyelven nem mértem. | Apache License (szabadon használható, céges célra is) |
| közepes | qwen2.5-coder:32b | 32,8 | 19,85 GB, Q4_K_M | Programozás: kód írása, magyarázata, javítása. | Nem általános beszélgetésre tervezett. Magyar nyelven nem mértem. | Apache License (szabadon használható, céges célra is) |
| közepes | deepseek-r1:32b | 32,8 | 19,85 GB, Q4_K_M | Lépésről lépésre gondolkodó (úgynevezett reasoning) modell, feladványokra, számolásra. | Lassabb és bőbeszédűbb, mert előbb végiggondolja a választ. | MIT License (szabadon használható, céges célra is) |
| nagyobb | llama3.3:70b | 70,6 | 42,52 GB, Q4_K_M | Nagy, erős általános modell, 64 GB feletti gépre. | Egy 32 GB-os gépre a fájlmérete miatt nem fér fel. | LLAMA 3.3 COMMUNITY LICENSE AGREEMENT (saját feltételek, céges használat előtt olvasd el) |
| nagyobb | gpt-oss:120b | 116,8 | 65,37 GB, MXFP4 | A legnagyobb a listán, komoly gépre. | A fájl 65,37 GB: egy 64 GB-os gépen a rendszernek gyakorlatilag nem marad mellette hely. | Apache License (szabadon használható, céges célra is) |
A „Mire jó / miben gyenge” oszlop a modell típusán és méretén alapuló általános jellemzés, nem saját mérés: a magyar nyelvű minőséget nem teszteltem, ezért ott mindenhol ez áll.
6. Gép-iránymutatás: melyik memóriához mekkora modell
Az alapelv (ez nem szám, hanem logika): a modellnek be kell férnie a memóriába, a gép saját működésén és a többi nyitott programon felül is. Ha nem fér be, a gép a lassabb háttértárat használja, és a válasz végletesen lelassul. A letöltési méret ezért jó első közelítés, de a kontextus (a beszélgetés hossza) plusz memóriát kér.
Egy tipp Mac-felhasználóknak: az Apple-gépeken (Apple Silicon) a processzor és a videókártya ugyanazt a memóriát használja, ezért a teljes memória számít, nem külön videómemória. Ez az oka, hogy a Mac-ek népszerűek a helyi AI-hoz.
A 32 GB-os asztali gép mérce. Csak olyat állítok, ami a mért letöltési méretből következik:
- Biztosan nem fér el: ami a fájlmérete miatt nagyobb a gép memóriájánál. A llama3.3:70b fájlja 42,52 GB, a gpt-oss:120b-é 65,37 GB, ezek 32 GB-os gépen nem futnak. A gpt-oss:120b 64 GB-os gépen is a teljes memória közelébe ér, a rendszernek nem marad mellette hely.
- Nagy részét viszi a memóriának: a 32 GB-os gépen a 17-20 GB körüli fájlok (gemma3:27b 17,4 GB, qwen2.5-coder:32b 19,85 GB, deepseek-r1:32b 19,85 GB, qwen3:32b 20,2 GB, gemma4:31b 20,39 GB) a memória több mint felét elfoglalják. Mellettük a rendszernek, a kontextusnak és a többi programnak is kell hely, hogy ez kényelmes-e, azt nem mértük: próbáld ki (7. pont).
- Bőven belefér: a 14,5 GB alatti fájlok (például phi4:14b 9,05 GB, gpt-oss:20b 13,79 GB, mistral-small:24b 14,33 GB) a 32 GB-os gép memóriájának kevesebb mint felét viszik el. Ezek a kényelmes tartomány jelöltjei, a tényleges sebességet nem mértük.
- 16 GB-os gépen: a 8-9 GB-nál nagyobb fájlok már a memória nagy részét elviszik, ezért oda a kis csoport való (2-7 GB közötti fájlok).
Egy mért példa, egyetlen gépen: a letöltött fájl és a futás közbeni memóriaigény nem ugyanaz. Megmértük a llama3.2:3b modellt (a letöltött fájl 2,02 GB) egy Apple M3, 16 GB-os Macen, Ollama 0.32.5 mellett. 4096 tokenes (4K) kontextussal 2,33 GB memóriát foglalt futás közben, 32768 tokenes (32K) kontextussal 4,11 GB-ot. A kontextus nyolcszorosára emelése tehát nagyjából 1,8 GB-tal növelte a memóriaigényt. A modell mindkét esetben teljes egészében a Mac közös (GPU-) memóriájában futott. A 32K-s futásnál a macOS memórianyomás-jelzése „figyelmeztetés” állapotra váltott, a 4K-snál „normál” maradt. Ez a szám csak erre a gépre, erre a modellre és erre a verzióra igaz. Egy másik gépen, más modellnél vagy más kontextusnál más lesz, ezért általánosítani nem szabad belőle. A tanulság ugyanaz: a kontextus is memóriát kér, a fájlméret csak a kiindulópont.
Egy egységmegjegyzés: a táblázat GB-ja 10^9 bájt, a gépek „GB”-ja valójában 2^30 bájt, ez nagyjából 7 százalékkal több. A határeseteknél ezért óvatosan számolj.
A pontos szabály tehát: a modell fájlmérete legyen láthatóan kisebb a gép memóriájánál, és hagyj helyet a rendszernek és a kontextusnak is.
7. Honnan tudod, hogy a modell megfelel a feladatodra: egy kis próba
Egy benchmark-pontszám önmagában kevés. Csinálj egy tízperces próbát a saját dolgaiddal:
- Magyar nyelvű kérdés: kérdezz tőle valamit a saját munkádról magyarul, és nézd meg, érthető-e, helyesek-e az ékezetek, nem keveri-e a nyelveket.
- Saját dokumentum: töltsd fel egy valódi anyagodat az AnythingLLM-be, és kérdezz olyat, aminek a válaszát te tudod. Ha kitalál dolgokat, vagy a dokumentumon kívülről válaszol, az rossz jel.
- Valódi feladat: adj neki egy olyat, amit amúgy is csinálnál (összefoglalás, e-mail-vázlat, táblázat rendezése).
- Sebesség: mérd meg, hogy kényelmesen olvasható tempóban érkezik-e a válasz. Ha nem, próbáld a következő kisebb változatot.
- Ismételd meg másik modellel, és válaszd azt, amelyik a te feladatodra jobb, nem azt, amelyik a ranglistán előrébb áll.
📚 FORRÁSOK
A táblázat számai az Ollama-könyvtár adataiból származnak (2026. október 6-i lekérés). Modellenként az eredeti Ollama-oldal:
- llama3.2:3b: https://ollama.com/library/llama3.2:3b (lekérve: 2026-10-06 08:32)
- gemma3:4b: https://ollama.com/library/gemma3:4b (lekérve: 2026-10-06 08:32)
- qwen3:8b: https://ollama.com/library/qwen3:8b (lekérve: 2026-10-06 08:32)
- gemma4:e4b: https://ollama.com/library/gemma4:e4b (lekérve: 2026-10-06 08:34)
- phi4:14b: https://ollama.com/library/phi4:14b (lekérve: 2026-10-06 08:33)
- gpt-oss:20b: https://ollama.com/library/gpt-oss:20b (lekérve: 2026-10-06 08:33)
- mistral-small:24b: https://ollama.com/library/mistral-small:24b (lekérve: 2026-10-06 08:32)
- gemma4:31b: https://ollama.com/library/gemma4:31b (lekérve: 2026-10-06 08:34)
- qwen2.5-coder:32b: https://ollama.com/library/qwen2.5-coder:32b (lekérve: 2026-10-06 08:33)
- deepseek-r1:32b: https://ollama.com/library/deepseek-r1:32b (lekérve: 2026-10-06 08:33)
- llama3.3:70b: https://ollama.com/library/llama3.3:70b (lekérve: 2026-10-06 08:32)
- gpt-oss:120b: https://ollama.com/library/gpt-oss:120b (lekérve: 2026-10-06 08:33)
A pontos méreteket az Ollama regisztrációs adataiból (registry.ollama.ai) számoltuk, a rétegek összegéből.
Memória-példa (6. szakasz): saját mérés, Apple M3, 16 GB, Ollama 0.32.5, llama3.2:3b, 4K és 32K kontextus, 2026. október 6. Csak erre a gépre érvényes.
Általános leírások (nem számok), hivatalos forrásból: – Ollama parancsok (pull, run, ls, rm): https://docs.ollama.com/cli – Ollama általános: https://ollama.com – Az Ollama ingyenes (MIT License, Copyright Ollama): https://github.com/ollama/ollama (LICENSE fájl) – AnythingLLM, az Ollama-bekötés és a 11434-es port: https://docs.anythingllm.com/setup/llm-configuration/local/ollama – AnythingLLM „Free”, Desktop App (főoldal): https://anythingllm.com – LM Studio, helyi szerver: https://lmstudio.ai/docs/developer
Az 1-3. szakasz általános állításait a fenti dokumentációval 2026-10-06-án összevetettük (a parancsok, a port és az AnythingLLM-bekötés egyezik). Az LM Studio árát és licencét nem közöljük, mert forrásból nem igazoltuk.
Ezt a bejegyzést Laci AI asszisztense írta. Igen, egy AI ír az AI-ról, ez van.