Foundation Model trên thiết bị của Apple, nay trên API AnyRouter

Apple kèm Foundation Model trên thiết bị trong Apple Intelligence — mô hình ngôn ngữ nhỏ chạy hoàn toàn trên phần cứng local, không dữ liệu rời máy. Nó nay nằm trong catalog AnyRouter là apple/foundation-model, tới được qua đúng API tương thích OpenAI bạn đã dùng cho mọi mô hình khác.

Hình dạng khác mọi mô hình chúng tôi host, và nên nói chính xác: AnyRouter không chạy mô hình này cho bạn. Mac của bạn chạy. AnyRouter chỉ là kết nối giữa API công cộng và model server trên máy bạn. Đó là vì sao $0 và vì sao prompt ở lại trên phần cứng của bạn.

Mô hình của Apple không có endpoint công cộng — nó chạy trên máy không có địa chỉ server để chúng tôi gọi. Vậy thay vì AnyRouter với tới nhà cung cấp, Mac của bạn với tới AnyRouter. CLI anyr mở WebSocket outbound tới AnyRouter và giữ mở. Khi request tới apple/foundation-model, AnyRouter đẩy xuống kết nối đó tới Mac, model server local trả lời, và response stream ngược lên cùng kết nối tới người gọi.

sequenceDiagram
participant C as API caller
participant GW as AnyRouter
participant M as Your Mac (anyr relay)
participant FM as On-device model
M->>GW: open outbound WebSocket, stay connected
C->>GW: POST /v1/chat/completions (apple/foundation-model)
GW->>M: push request down the socket
M->>FM: run on-device
FM-->>M: tokens
M-->>GW: stream response back up
GW-->>C: streamed response

Vì origin là thiết bị bạn sở hữu và kiểm soát, đây là chỗ duy nhất trong AnyRouter request không đi đường gateway thường — đơn giản không có gì trên internet công cộng để route tới. Model server trên Mac là origin.

Bạn cần Mac hỗ trợ Apple Intelligence và server local phơi mô hình trên thiết bị qua endpoint tương thích OpenAI (fm serve của Apple, lắng nghe 127.0.0.1:1976). Khi đã chạy, một lệnh nối nó vào tài khoản AnyRouter:

# 1. Start Apple's on-device model server on your Mac
fm serve

# 2. Connect it to AnyRouter (auto-detects fm serve on port 1976)
anyr relay start

relay start ghép máy lần chạy đầu — dùng API key AnyRouter sẵn có nếu tìm thấy, hoặc dẫn bạn đăng nhập trình duyệt — rồi giữ kết nối mở và tự kết nối lại nếu mạng rớt. Để chạy thì Mac sẵn sàng phục vụ request apple/foundation-model.

Khi relay đã nối, apple/foundation-model hành xử như mọi id khác trong catalog. Gửi request chat-completions chuẩn:

curl https://anyrouter.dev/api/v1/chat/completions \
-H "Authorization: Bearer $ANYROUTER_API_KEY" \
-H "Content-Type: application/json" \
-d '{
  "model": "apple/foundation-model",
  "messages": [{ "role": "user", "content": "Summarize this in one sentence." }]
}'

Hoặc chọn apple/foundation-model trong dropdown mô hình ở Playground playground.anyrouter.dev và chat trên trình duyệt. Streaming giống mọi mô hình khác. Nếu không có thiết bị đã ghép online khi request tới, cuộc gọi fail nhanh để mô hình fallback trả lời — không treo chờ Mac offline.

Hai lưu ý thẳng. Thứ nhất, mô hình trên thiết bị nhỏ và làm việc trên thiết bị — Apple trần cửa sổ ngữ cảnh 4.096 token, chia cho system instruction, schema tool, và hội thoại. Đó là giới hạn framework thật, không phải setting chúng tôi nâng được. Coi nó là mô hình local nhanh cho việc tập trung, không phải ngựa thồ ngữ cảnh dài.

Thứ hai, thông lượng hoàn toàn phụ thuộc Mac — mô hình chạy trên silicon của bạn, phần cứng đặt nhịp. Chúng tôi không trích số latency ở đây, vì chỉ số đo trên máy bạn mới quan trọng.

• Riêng tư theo thiết kế. Prompt và completion chạy trên thiết bị, không gửi tới nhà cung cấp mô hình bên thứ ba.
• $0 mỗi token. Bạn cung cấp phần cứng nên không có gì để tính — input và output đều giá zero.
• Không tài khoản nhà cung cấp. Không API key phải xin Apple; mô hình là phần của Apple Intelligence trên Mac.

Nếu Mac có thời gian nhàn, bạn có thể để nó phục vụ request cho người dùng AnyRouter khác giống cách key nhà cung cấp được góp vào pool. Thêm --pool khi kết nối:

anyr relay start --pool

Route pool chỉ fallback sang thiết bị người góp khi máy của người gọi offline, và opt-in theo thiết bị — tắt flag thì Mac chỉ trả lời request của bạn. Cơ chế pool chung và cách người góp nhận credit: /blog/shared-key-pool.