Instructions to use kataguru/Apodex-1.1-mini-Finnish-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use kataguru/Apodex-1.1-mini-Finnish-GGUF with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M # Run inference directly in the terminal: llama cli -hf kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M # Run inference directly in the terminal: llama cli -hf kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama cli -hf kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M
Use Docker
docker model run hf.co/kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M
- Llama new
- LM Studio
- Jan
- vLLM
How to use kataguru/Apodex-1.1-mini-Finnish-GGUF with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "kataguru/Apodex-1.1-mini-Finnish-GGUF" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "kataguru/Apodex-1.1-mini-Finnish-GGUF", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }'Use Docker
docker model run hf.co/kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M
- Ollama
How to use kataguru/Apodex-1.1-mini-Finnish-GGUF with Ollama:
ollama run hf.co/kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M
- Unsloth Desktop
- Pi
How to use kataguru/Apodex-1.1-mini-Finnish-GGUF with Pi:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M
Configure the model in Pi
# Install Pi: npm install -g @earendil-works/pi-coding-agent # Add to ~/.pi/agent/models.json: { "providers": { "llama-cpp": { "baseUrl": "http://localhost:9931/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M" } ] } } }Run Pi
# Start Pi in your project directory: pi
- Docker Model Runner
How to use kataguru/Apodex-1.1-mini-Finnish-GGUF with Docker Model Runner:
docker model run hf.co/kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M
- Lemonade
How to use kataguru/Apodex-1.1-mini-Finnish-GGUF with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M
Run and chat with the model
lemonade run user.Apodex-1.1-mini-Finnish-GGUF-Q4_K_M
List all available models
lemonade list
- Hermes Agent
How to use kataguru/Apodex-1.1-mini-Finnish-GGUF with Hermes Agent:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M
Configure Hermes
# Install Hermes: curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # Point Hermes at the local server: hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:9931/v1 hermes config set model.default kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M
Run Hermes
hermes
- Atomic Chat
- OpenClaw
How to use kataguru/Apodex-1.1-mini-Finnish-GGUF with OpenClaw:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M
Configure OpenClaw
# Install OpenClaw: npm install -g openclaw@latest # Register the local server and set it as the default model: openclaw onboard --non-interactive --mode local \ --auth-choice custom-api-key \ --custom-base-url http://127.0.0.1:9931/v1 \ --custom-model-id "kataguru/Apodex-1.1-mini-Finnish-GGUF:Q4_K_M" \ --custom-provider-id llama-cpp \ --custom-compatibility openai \ --custom-text-input \ --accept-risk \ --skip-health
Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
Apodex-1.1-mini-Finnish-GGUF
GGUF-kvantisoinnit Apodex-1.1-mini -monialamallista (36B MoE, 3B aktiivista parametria per token), varustettuna suoraan mallin metatietoihin integroidulla suomalaisella chat-templatella ja visioprojektorilla (mmproj).
Alkuperäinen malli: apodex/Apodex-1.1-mini
Mitä Kataguru muutti?
| Kenttä | Kuvaus |
|---|---|
| Base model | apodex/Apodex-1.1-mini |
| Katagurun muutos | Suomalainen chat-template (Jinja2) + GGUF-kvantisointi (llama.cpp build b11064) |
| Mitä EI muutettu | Mallin arkkitehtuuri, esikoulutetut painot tai sanasto |
| Ensisijainen käyttö | Paikallinen suomenkielinen päättely ja monialakäyttö vähäisellä muistinkäytöllä |
| Suositeltu versio | Q4_K_M (20.2 GiB) tai IQ4_XS (18.0 GiB) |
| Testattu laitteisto | RTX 5090 32GB / llama-bench b11064 |
Arkkitehtuuri ja Ominaisuudet
- Sparse MoE (3B aktiivista / 36B kokonaiskoko): 8 aktiivista asiantuntijaa 256:sta per token. Mahdollistaa pienen 3B-mallin laskennallisen läpimenon suuremman mallin tietomäärällä.
- Hybridi-Attention: 30 Linear Attention (GDN) -kerrosta ja 10 Full Attention -kerrosta.
- Konteksti-ikkuna: 262 144 tokenia (teoreettinen arkkitehtuurimaksimi).
- Natiivi visio & OCR: Toimitetaan erillisen visioprojektorin (
mmproj-Apodex-1.1-mini-Finnish-BF16.gguf) kanssa kuvien ja asiakirjojen lukemiseen suomeksi. - Päättelysyvyys (
<think>): Malli tukee sisäistä päättelyketjua ja ohjattavia päättelytasoja ({REASON:spoon},{REASON:einstein},{REASON:none}).
Suorituskykymittaukset (llama-bench)
Mittaustulokset ajettu suoraan NVIDIA GeForce RTX 5090 32GB -kortilla (CUDA Backend, Flash Attention on):
| Malli / Kvantti | Tiedostokoko | VRAM-vaatimus | Prompt Eval (pp512) |
Generointinopeus (tg128) |
Laitteistosuositus |
|---|---|---|---|---|---|
Apodex-1.1-mini-Finnish-Q3_K_M.gguf |
15.98 GiB | ~16.5 GB | 6 836.6 tok/s | 253.8 tok/s | 16–24 GB VRAM (RTX 4080, 5080, Mac 16GB+) |
Apodex-1.1-mini-Finnish-IQ4_XS.gguf |
18.05 GiB | ~18.6 GB | 6 628.3 tok/s | 263.5 tok/s | 20–24 GB VRAM (RTX 3090, 4090, 5090) |
Apodex-1.1-mini-Finnish-Q4_K_M.gguf |
20.21 GiB | ~21.0 GB | 6 586.3 tok/s | 262.6 tok/s | 24 GB+ VRAM (RTX 3090, 4090, 5090) |
Apodex-1.1-mini-Finnish-Q5_K_M.gguf |
24.10 GiB | ~25.0 GB | ~6 400 tok/s | ~255 tok/s | 32 GB+ VRAM / Jaettu muisti |
Apodex-1.1-mini-Finnish-Q6_K.gguf |
28.20 GiB | ~29.5 GB | ~6 200 tok/s | ~250 tok/s | 32 GB+ VRAM |
mmproj-Apodex-1.1-mini-Finnish-BF16.gguf |
861 MiB | +0.9 GB | N/A | N/A | Visioprojektori OCR- ja kuva-ajoon |
Havainnot ja Tunnetut Rajoitukset
- Suomen kielen laatu: Integroidun chat-templaten ansiosta malli käsittelee suomalaiset sijamuodot ja ammattikielen huomattavasti alkuperäistä peruskehotetta paremmin.
- MoE-arkkitehtuurin rajoitukset: Koska kerrallaan aktivoituu vain 3B parametria, monivaiheisissa loogisissa pulmassa tai syvällisessä koodauksessa mallin päättelyvarmuus jää alle tiheiden 27B-mallien (kuten Titan).
- Kontekstimuisti: Vaikka malli tukee 262k tokenia, yli 32k kontekstit kasvattavat KV-cachen muistinvarausta merkittävästi.
Käyttöohjeet
LM Studio
- Lataa
.gguf-tiedosto (esim.Apodex-1.1-mini-Finnish-Q4_K_M.gguf) ja visioprojektorimmproj-Apodex-1.1-mini-Finnish-BF16.gguf. - Sijoita kansioon:
~/.lmstudio/models/kataguru/Apodex-1.1-mini-Finnish-GGUF/ - Malli tunnistaa suomalaisen chat-templaten ja visiotuen automaattisesti. Suositeltu lämpötila:
0.6.
llama-cli
llama-cli \
-m Apodex-1.1-mini-Finnish-Q4_K_M.gguf \
--mmproj mmproj-Apodex-1.1-mini-Finnish-BF16.gguf \
-ngl 99 \
-fa on \
-c 8192 \
-p "Miten kvanttitietokone eroaa klassisesta tietokoneesta?"
Lisenssi
Pohjamalli: apodex/Apodex-1.1-mini (Apache 2.0).
Chat-template ja GGUF-julkaisu: Kataguru.
- Downloads last month
- 482
3-bit
4-bit
5-bit
6-bit
Model tree for kataguru/Apodex-1.1-mini-Finnish-GGUF
Base model
Qwen/Qwen3.5-35B-A3B-Base