Forge: Guardrails Giúp Model Local 8B Đạt 86.5% Trên Agentic Tasks

Model Local 8B — Tiềm Năng Nhưng Bấp Bênh

LLM chạy local đang ngày càng phổ biến. Ollama, llama-server, Llamafile — nhiều lựa chọn cho developer muốn tự host model mà không phụ thuộc cloud API. Tốc độ tăng, chi phí giảm, dữ liệu ở lại máy.

Nhưng có một vấn đề lớn: model nhỏ không ổn định khi chạy agentic workflow. Khi cần gọi tool calling nhiều bước liên tiếp, model 8B thường gặp lỗi định dạng JSON, quên step quan trọng, hoặc dừng giữa chừng.

Forge ra đời để giải quyết bài toán đó.

Forge Là Gì?

Forge là Python framework cung cấp guardrails cho LLM self-hosted. Forge nằm giữa ứng dụng và model, đảm bảo output của model luôn đúng định dạng và đủ bước.

Ba cơ chế chính:

Rescue parsing — Khi model trả về JSON sai format, Forge tự sửa lại thay vì reject toàn bộ request. Model nhỏ hay gặp lỗi format, cơ chế này giúp hệ thống không bị gián đoạn.

Retry nudges — Nếu model bỏ qua một step bắt buộc, Forge tự thêm thông tin nhắc nhở vào prompt và thử lại. Không cần viết logic retry thủ công.

Step enforcement — Đảm bảo model thực hiện đủ các bước đã định nghĩa. Nếu bước nào bị bỏ sót, hệ thống sẽ không cho phép model tiếp tục.

Kết Quả Thực Tế

Trên bộ 26 scenario đánh giá của Forge, cấu hình Ministral-3 8B Instruct Q8 trên llama-server đạt 86.5% tổng thể — và 76% ở tier khó nhất. Con số này ngang bằng hoặc vượt qua nhiều model lớn hơn.

Điều đáng chú ý: model 8B chạy trên GPU consumer, chi phí thấp hơn nhiều lần so với gọi API GPT-4 hoặc Claude. Với team nhỏ hoặc startup muốn giảm chi phí inference, đây là lựa chọn thực tế.

Ba Cách Sử Dụng

Forge cung cấp ba lớp tích hợp phù hợp với nhiều kiến trúc khác nhau.

WorkflowRunner — Định nghĩa tools, chọn backend, chạy agent loop. Forge quản lý toàn bộ lifecycle: system prompt, tool execution, context compaction và guardrails. Phù hợp khi phát triển trực tiếp trên Forge.

Guardrails middleware — Tích hợp stack guardrails của Forge vào vòng lặp orchestration hiện tại. Developer kiểm soát vòng lặp, Forge xử lý validation, cứu các tool call sai format và bắt buộc đủ bước.

Proxy server — OpenAI-compatible proxy chạy bằng lệnh python -m forge.proxy. Client (opencode, Continue, aider) kết nối như đang gọi API OpenAI, nhưng thực tế chạy model local qua Forge. Guardrails hoạt động minh bạch.

Hỗ Trợ Backend

Forge hỗ trợ nhiều backend: Ollama, llama-server (llama.cpp), Llamafile và Anthropic. Llama-server cho hiệu suất tốt nhất — 10 cấu hình top evaluation đều chạy trên nền tảng này.

Yêu cầu tối thiểu: Python 3.12+ và một LLM backend đang chạy.

pip install forge-guardrails

Khi Nào Nên Dùng Forge?

Forge không phải giải pháp cho mọi trường hợp. Nếu ứng dụng chỉ cần gọi LLM một lần rồi dừng, guardrails không cần thiết.

Forge phát huy tác dụng khi:

• Chạy multi-step agentic workflow với tool calling
• Dùng model nhỏ (8B-14B) thay vì model lớn
• Cần độ tin cậy cao mà không muốn viết logic retry thủ công
• Muốn di chuyển từ cloud API sang self-hosted mà không mất độ ổn định

Trong bối cảnh model nhỏ ngày càng mạnh và chi phí inference đang giảm, Forge là cầu nối giúp model local thực sự trở thành lựa chọn thay thế cloud API cho production workflow.