Qwen-MNN
Collection
Qwen MNN models. • 21 items • Updated • 3
原始模型 · Hugging Face · ModelScope · MNN
Qwen2 系列的 0.5B 指令模型,用于多语言对话和文本生成。本仓库提供其 MNN 量化版本。
| 项目 | 配置 |
|---|---|
| 输入 / 输出 | 文本 / 文本 |
| 语言层数 / 隐藏维度 | 24 / 896 |
| 语言权重 | HQQ 4-bit,分组 128 |
| 输出头 | HQQ 4-bit,分组 128 |
| 量化尺度 | FP16(语言线性层与输出头) |
| 词嵌入 | 独立 BF16 嵌入(embeddings_bf16.bin) |
| 默认运行配置 | CPU,4 线程,precision=low,memory=low |
模型文件包括 llm.mnn / llm.mnn.weight(模型图与权重)、tokenizer.mtok(分词器)、config.json / llm_config.json(运行与模型配置)、embeddings_bf16.bin(词嵌入)。下载时保留完整目录。
Hugging Face:
hf download taobao-mnn/Qwen2-0.5B-Instruct-MNN --local-dir ./Qwen2-0.5B-Instruct-MNN
ModelScope:
modelscope download --model MNN/Qwen2-0.5B-Instruct-MNN --local_dir ./Qwen2-0.5B-Instruct-MNN
以下命令使用本次导出验证的 MNN 3.6.2 提交。
git clone https://github.com/alibaba/MNN.git
git -C MNN checkout b0239771b07b317a258fbc384683bbd540741406
(cd MNN && ./schema/generate.sh)
cmake -S MNN -B MNN/build -DCMAKE_BUILD_TYPE=Release \
-DMNN_BUILD_LLM=ON -DMNN_LOW_MEMORY=ON -DMNN_SUPPORT_TRANSFORMER_FUSE=ON
cmake --build MNN/build --target llm_demo -j4
printf '%s\n' '你好,请介绍一下自己。' > prompt.txt
./MNN/build/llm_demo ./Qwen2-0.5B-Instruct-MNN/config.json prompt.txt
采样参数在 config.json 中调整。应用集成见 MNN-LLM 文档。
2026-11-09,x64 CPU:FP32 映射对齐、问候、算术与翻译用例及默认配置冒烟测试通过。
导出参数见 export_args.json,测试记录与文件哈希见 refresh_metadata.json。
采用上游 Apache License 2.0。