Qwen2-0.5B-Instruct-MNN

原始模型 · Hugging Face · ModelScope · MNN

Qwen2 系列的 0.5B 指令模型,用于多语言对话和文本生成。本仓库提供其 MNN 量化版本。

模型信息

项目 配置
输入 / 输出 文本 / 文本
语言层数 / 隐藏维度 24 / 896
语言权重 HQQ 4-bit,分组 128
输出头 HQQ 4-bit,分组 128
量化尺度 FP16(语言线性层与输出头)
词嵌入 独立 BF16 嵌入(embeddings_bf16.bin)
默认运行配置 CPU,4 线程,precision=low,memory=low

模型文件包括 llm.mnn / llm.mnn.weight(模型图与权重)、tokenizer.mtok(分词器)、config.json / llm_config.json(运行与模型配置)、embeddings_bf16.bin(词嵌入)。下载时保留完整目录。

下载

Hugging Face:

hf download taobao-mnn/Qwen2-0.5B-Instruct-MNN --local-dir ./Qwen2-0.5B-Instruct-MNN

ModelScope:

modelscope download --model MNN/Qwen2-0.5B-Instruct-MNN --local_dir ./Qwen2-0.5B-Instruct-MNN

运行

以下命令使用本次导出验证的 MNN 3.6.2 提交。

git clone https://github.com/alibaba/MNN.git
git -C MNN checkout b0239771b07b317a258fbc384683bbd540741406
(cd MNN && ./schema/generate.sh)
cmake -S MNN -B MNN/build -DCMAKE_BUILD_TYPE=Release \
  -DMNN_BUILD_LLM=ON -DMNN_LOW_MEMORY=ON -DMNN_SUPPORT_TRANSFORMER_FUSE=ON
cmake --build MNN/build --target llm_demo -j4
printf '%s\n' '你好,请介绍一下自己。' > prompt.txt
./MNN/build/llm_demo ./Qwen2-0.5B-Instruct-MNN/config.json prompt.txt

采样参数在 config.json 中调整。应用集成见 MNN-LLM 文档。

验证与导出

2026-11-09,x64 CPU:FP32 映射对齐、问候、算术与翻译用例及默认配置冒烟测试通过。

导出参数见 export_args.json,测试记录与文件哈希见 refresh_metadata.json。

许可证

采用上游 Apache License 2.0。

Downloads last month
282
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for taobao-mnn/Qwen2-0.5B-Instruct-MNN

Base model

Qwen/Qwen2-0.5B
Quantized
(95)
this model

Collection including taobao-mnn/Qwen2-0.5B-Instruct-MNN