NVIDIA DGX Spark 64GB Gives Developers More Ways to Build and Scale Local AI
NVIDIA 宣布 DGX Spark 推出 64GB 统一内存新配置，10 月 23 日起由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 发售，起步价 $4,999，支持最高 1000 亿参数模型在端侧运行。
On-Device AI News
Latest reporting, research and product updates filed under On-Device AI.
Latest stories
1 story
1 story
2 stories
Announcing vllm-metal: Concurrent Serving on Apple Silicon
vLLM 官方发布 vllm-metal v0.28.0，把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon，由 MLX 和 Metal 执行模型，版本号与上游 vLLM 对齐。
Transformers now runs llama.cpp quants
Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型，通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint，并复用 ggml 的 Metal 内核。
1 story
1 story
1 story
Showing the latest 7 of 13 stories.