Intel Arc Pro B70 (32GB) for Local LLMs: llama.cpp (SYCL/Vulkan), vLLM (Intel LLM Scaler) Benchmarks

Donato Capitella · Messung · Fortgeschritten

Kurz gesagt

Donato Capitella testet die Intel Arc Pro B70 mit 32 GB für lokale Sprachmodelle. Verglichen werden llama.cpp mit SYCL und Vulkan sowie vLLM mit Intels LLM Scaler. Interessant für alle, die eine Intel-Karte für lokale KI erwägen.

Das lernst du

• Intel Arc Pro B70 mit 32 GB im Test
• llama.cpp über SYCL und Vulkan
• vLLM mit Intel LLM Scaler im Vergleich

Warum es für lokale KI zählt

Es zeigt, welche Runtime- und Backend-Konfiguration auf einer 32-GB-Workstation-GPU für lokale LLM-Inferenz praktisch sinnvoll ist.

Hardware: Workstation, etwa 32 GB VRAM.

Was dazu gesagt wurde

„Seems as though SYCL backend on llama doesn't use XMX acceleration, so that's why we see pretty poor results compared to VLLM which is well maintained by Intel.“

Reddit · 2026

Woher die Empfehlung kommt

2 Personen haben dieses Video 2× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.

Hardware & Beschaffung Runtimes & Backends Benchmarks & Messungen