Apodex-1.1-mini-Finnish-GGUF

GGUF-kvantisoinnit Apodex-1.1-mini -monialamallista (36B MoE, 3B aktiivista parametria per token), varustettuna suoraan mallin metatietoihin integroidulla suomalaisella chat-templatella ja visioprojektorilla (mmproj).

Alkuperäinen malli: apodex/Apodex-1.1-mini


Mitä Kataguru muutti?

Kenttä Kuvaus
Base model apodex/Apodex-1.1-mini
Katagurun muutos Suomalainen chat-template (Jinja2) + GGUF-kvantisointi (llama.cpp build b11064)
Mitä EI muutettu Mallin arkkitehtuuri, esikoulutetut painot tai sanasto
Ensisijainen käyttö Paikallinen suomenkielinen päättely ja monialakäyttö vähäisellä muistinkäytöllä
Suositeltu versio Q4_K_M (20.2 GiB) tai IQ4_XS (18.0 GiB)
Testattu laitteisto RTX 5090 32GB / llama-bench b11064

Arkkitehtuuri ja Ominaisuudet

  • Sparse MoE (3B aktiivista / 36B kokonaiskoko): 8 aktiivista asiantuntijaa 256:sta per token. Mahdollistaa pienen 3B-mallin laskennallisen läpimenon suuremman mallin tietomäärällä.
  • Hybridi-Attention: 30 Linear Attention (GDN) -kerrosta ja 10 Full Attention -kerrosta.
  • Konteksti-ikkuna: 262 144 tokenia (teoreettinen arkkitehtuurimaksimi).
  • Natiivi visio & OCR: Toimitetaan erillisen visioprojektorin (mmproj-Apodex-1.1-mini-Finnish-BF16.gguf) kanssa kuvien ja asiakirjojen lukemiseen suomeksi.
  • Päättelysyvyys (<think>): Malli tukee sisäistä päättelyketjua ja ohjattavia päättelytasoja ({REASON:spoon}, {REASON:einstein}, {REASON:none}).

Suorituskykymittaukset (llama-bench)

Mittaustulokset ajettu suoraan NVIDIA GeForce RTX 5090 32GB -kortilla (CUDA Backend, Flash Attention on):

Malli / Kvantti Tiedostokoko VRAM-vaatimus Prompt Eval (pp512) Generointinopeus (tg128) Laitteistosuositus
Apodex-1.1-mini-Finnish-Q3_K_M.gguf 15.98 GiB ~16.5 GB 6 836.6 tok/s 253.8 tok/s 16–24 GB VRAM (RTX 4080, 5080, Mac 16GB+)
Apodex-1.1-mini-Finnish-IQ4_XS.gguf 18.05 GiB ~18.6 GB 6 628.3 tok/s 263.5 tok/s 20–24 GB VRAM (RTX 3090, 4090, 5090)
Apodex-1.1-mini-Finnish-Q4_K_M.gguf 20.21 GiB ~21.0 GB 6 586.3 tok/s 262.6 tok/s 24 GB+ VRAM (RTX 3090, 4090, 5090)
Apodex-1.1-mini-Finnish-Q5_K_M.gguf 24.10 GiB ~25.0 GB ~6 400 tok/s ~255 tok/s 32 GB+ VRAM / Jaettu muisti
Apodex-1.1-mini-Finnish-Q6_K.gguf 28.20 GiB ~29.5 GB ~6 200 tok/s ~250 tok/s 32 GB+ VRAM
mmproj-Apodex-1.1-mini-Finnish-BF16.gguf 861 MiB +0.9 GB N/A N/A Visioprojektori OCR- ja kuva-ajoon

Havainnot ja Tunnetut Rajoitukset

  1. Suomen kielen laatu: Integroidun chat-templaten ansiosta malli käsittelee suomalaiset sijamuodot ja ammattikielen huomattavasti alkuperäistä peruskehotetta paremmin.
  2. MoE-arkkitehtuurin rajoitukset: Koska kerrallaan aktivoituu vain 3B parametria, monivaiheisissa loogisissa pulmassa tai syvällisessä koodauksessa mallin päättelyvarmuus jää alle tiheiden 27B-mallien (kuten Titan).
  3. Kontekstimuisti: Vaikka malli tukee 262k tokenia, yli 32k kontekstit kasvattavat KV-cachen muistinvarausta merkittävästi.

Käyttöohjeet

LM Studio

  1. Lataa .gguf-tiedosto (esim. Apodex-1.1-mini-Finnish-Q4_K_M.gguf) ja visioprojektori mmproj-Apodex-1.1-mini-Finnish-BF16.gguf.
  2. Sijoita kansioon: ~/.lmstudio/models/kataguru/Apodex-1.1-mini-Finnish-GGUF/
  3. Malli tunnistaa suomalaisen chat-templaten ja visiotuen automaattisesti. Suositeltu lämpötila: 0.6.

llama-cli

llama-cli \
  -m Apodex-1.1-mini-Finnish-Q4_K_M.gguf \
  --mmproj mmproj-Apodex-1.1-mini-Finnish-BF16.gguf \
  -ngl 99 \
  -fa on \
  -c 8192 \
  -p "Miten kvanttitietokone eroaa klassisesta tietokoneesta?"

Lisenssi

Pohjamalli: apodex/Apodex-1.1-mini (Apache 2.0).
Chat-template ja GGUF-julkaisu: Kataguru.

Downloads last month
482
GGUF
Model size
36B params
Architecture
qwen35moe
Hardware compatibility
Log In to add your hardware

3-bit

4-bit

5-bit

6-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for kataguru/Apodex-1.1-mini-Finnish-GGUF

Quantized
(28)
this model

Collection including kataguru/Apodex-1.1-mini-Finnish-GGUF