Instructions to use TilQazyna/llama-kaz-instruct-8B-1 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use TilQazyna/llama-kaz-instruct-8B-1 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="TilQazyna/llama-kaz-instruct-8B-1")

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("TilQazyna/llama-kaz-instruct-8B-1")
model = AutoModelForCausalLM.from_pretrained("TilQazyna/llama-kaz-instruct-8B-1", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use TilQazyna/llama-kaz-instruct-8B-1 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "TilQazyna/llama-kaz-instruct-8B-1"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "TilQazyna/llama-kaz-instruct-8B-1",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/TilQazyna/llama-kaz-instruct-8B-1

SGLang

How to use TilQazyna/llama-kaz-instruct-8B-1 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "TilQazyna/llama-kaz-instruct-8B-1" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "TilQazyna/llama-kaz-instruct-8B-1",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "TilQazyna/llama-kaz-instruct-8B-1" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "TilQazyna/llama-kaz-instruct-8B-1",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use TilQazyna/llama-kaz-instruct-8B-1 with Docker Model Runner:
```
docker model run hf.co/TilQazyna/llama-kaz-instruct-8B-1
```
Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

You need to agree to share your Hugging Face information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Бұл репозиторийге қолжетімділік өтінім бойынша беріледі. Өзіңіз туралы және деректерді қалай қолданатыңыз туралы жазыңыз — өтінімді TilQazyna командасы қарайды. · Доступ к репозиторию выдаётся по заявке. Расскажите о себе и о том, как собираетесь использовать данные — заявку рассматривает команда TilQazyna. · Access to this repository is granted on request. Tell us who you are and how you plan to use the material; the TilQazyna team reviews each application.

llama-kaz-instruct-8B-1

Қазақша нұсқауларға бейімделген Llama моделі · Llama-модель для инструкций на казахском языке · Llama model adapted to Kazakh instructions

Қазақша · Русский · English

Қазақша

llama-kaz-instruct-8B-1 — Meta-Llama-3-8B негізінде қазақ мәтінімен жалғастыра оқытылып, кейін қазақша нұсқау деректерімен fine-tune жасалған, көлемі 16.07 ГБ тілдік модель. Репозиторийде төрт бөлікке бөлінген safetensors салмақтары, tokenizer және конфигурация файлдары бар.

Құрылымы

Параметр	Мәні
Архитектура	LlamaForCausalLM
Жасырын қабат өлшемі	4096
Қабат саны	32
Attention басы	32
Сөздік көлемі	128256
Контекст ұзындығы	8192
Аралық қабат өлшемі	14336

Модель қазақша мәтінмен жұмыс істеуге, мәтіндік сұрақтарға жауап беруге, пунктуация мен грамматиканы түзетуге және мәтінді ықшамдауға бейімделген.

Іске қосу

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "TilQazyna/llama-kaz-instruct-8B-1"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, device_map="auto")

prompt = "Тапсырма: Келесі мәтіндегі пунктуацияларды және грамматикалық қателерді дұрыста.\n\nМәтін: Жаналыктар леби осиндай\n\nЖауабы:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Қолжетімділік

Модель карточкасы мен файлдар тізімі ашық көрінеді. Салмақтарды жүктеу үшін «Request access» арқылы өтінім жіберіп, TilQazyna командасының мақұлдауын алу керек.

Байланысты репозиторийлер

Қазақша нұсқауларға арналған кейінгі модель ретінде Til-2B-instruct көрсетілген.

Русский

llama-kaz-instruct-8B-1 — языковая модель объёмом 16.07 ГБ на основе Meta-Llama-3-8B, дополнительно обученная на казахских текстах и затем прошедшая fine-tune на инструкциях на казахском языке. Репозиторий содержит веса safetensors в четырёх частях, tokenizer и конфигурацию.

Устройство

Параметр	Значение
Архитектура	LlamaForCausalLM
Размер скрытого слоя	4096
Слоёв	32
Голов attention	32
Размер словаря	128256
Длина контекста	8192
Размер промежуточного слоя	14336

Модель адаптирована к работе с казахским текстом, ответам на текстовые вопросы, исправлению пунктуации и грамматики, а также суммаризации.

Как запустить

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "TilQazyna/llama-kaz-instruct-8B-1"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, device_map="auto")

prompt = "Тапсырма: Келесі мәтіндегі пунктуацияларды және грамматикалық қателерді дұрыста.\n\nМәтін: Жаналыктар леби осиндай\n\nЖауабы:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Доступ

Карточка модели и список файлов видны без заявки. Для скачивания весов требуется одобрение команды TilQazyna после обращения через кнопку «Request access».

Связанные репозитории

В качестве более поздней модели для казахских инструкций указан Til-2B-instruct.

English

llama-kaz-instruct-8B-1 is a 16.07 GB language model based on Meta-Llama-3-8B, continued-pretrained on Kazakh text and subsequently fine-tuned on Kazakh instruction data. The repository contains four safetensors weight shards together with tokenizer and configuration files.

Architecture

Property	Value
Architecture	LlamaForCausalLM
Hidden size	4096
Hidden layers	32
Attention heads	32
Vocabulary size	128256
Context length	8192
Intermediate size	14336

The model is adapted for Kazakh text processing, text-based question answering, punctuation and grammar correction, and summarization.

Loading and inference

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "TilQazyna/llama-kaz-instruct-8B-1"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, device_map="auto")

prompt = "Тапсырма: Келесі мәтіндегі пунктуацияларды және грамматикалық қателерді дұрыста.\n\nМәтін: Жаналыктар леби осиндай\n\nЖауабы:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Access

The model card and file listing can be viewed without applying. Downloading the weights requires approval from the TilQazyna team after submitting an application with the “Request access” button.