cudo528/Darwin-35B-A3B-Opus-mlx-8bit

Darwin-35B-A3B-Opus (MLX 8-bit Vision Optimized)

This repository provides an MLX-optimized 8-bit quantized version of FINAL-Bench/Darwin-35B-A3B-Opus, a next-generation Multimodal Vision-Language Model (VLM).

진화적 머지(Evolutionary Merge) 기법이 적용된 고성능 모델을 Apple Silicon(Mac) 환경에서 메모리 효율을 극대화하여 구동할 수 있도록 **8-bit(INT8)**로 양자화 및 포맷 변환을 완료한 버전입니다.

🚀 Key Features

• 8-bit Quantized: 원본 모델의 강력한 성능 열화를 최소화하면서도, 맥북 등 로컬 하드웨어 환경에서 부드럽게 추론(Inference)할 수 있도록 최적의 가중치 용량으로 압축되었습니다.
• Multimodal (Vision-Language): 이미지와 텍스트 입력을 동시에 처리하는 image-text-to-text 파이프라인을 지원하여 복잡한 시각 자료 분석, 도표 해석, OCR 등이 가능합니다.
• Advanced Reasoning & CoT: 심층적인 사고 프로세스(Thinking)와 Chain-of-Thought(CoT) 능력을 갖추어 논리적 추론 능력이 극대화되었습니다.
• Massive 262K Context Window: 최대 262,000 토큰의 초장문 컨텍스트를 지원하여 대형 문서 분석 및 긴 대화 흐름을 끊김 없이 유지합니다.
• Agentic Capabilities: 코딩 에이전트(Coding Agent) 기능과 고도화된 도구 호출(Tool Calling) 능력을 탑재하여 복잡한 워크플로우를 자율적으로 수행합니다.

🛠️ Installation

이 멀티모달 모델을 구동하려면 최신 버전의 mlx-lm 또는 비전 전용 MLX 패키지가 필요합니다.

pip install -U mlx-lm pillow

💻 How to Use

Python API를 이용한 멀티모달(이미지 + 텍스트) 추론 예시

이 모델은 이미지 입력을 지원하므로 PIL.Image를 활용해 질문을 던질 수 있습니다.

from mlx_lm import load, generate
from PIL import Image

# 본인의 허깅페이스 저장소 아이디/이름으로 수정하여 사용하세요.
model, tokenizer = load("cudo528/Darwin-35B-A3B-Opus-MLX-8bit")

# 분석할 이미지 로드
image_path = "sample_chart.png"
image = Image.open(image_path)

# 이미지와 함께 텍스트 프롬프트 작성
prompt = "이 이미지에 포함된 데이터 그래프를 한국어로 상세히 분석하고 요약해줘."

response = generate(
    model, 
    tokenizer, 
    prompt=prompt, 
    images=[image], # 멀티모달 입력 배열
    max_tokens=2048,
    verbose=True # 심층 추론 과정(<thought>)을 모니터링하려면 True
)
print(response)

📂 Quantization & Lineage

• Original Base Model: FINAL-Bench/Darwin-35B-A3B-Opus
• Quantization Bit: 8-bit (INT8)
• Format: MLX Formatted (.safetensors)
• License: Apache-2.0