هاغينغ فيس تضيف تحميل نونتشاكو رباعي البت إلى ديفيوزرز
أضافت هاغينغ فيس دعم نونتشاكو لايت إلى ديفيوزرز، بما يتيح تحميل نقاط تفتيش انتشار رباعية البت عبر from_pretrained مع نوى CUDA من المنصة.
نشرت هاغينغ فيس تكاملا جديدا يتيح لمطوري نماذج الصور تحميل نقاط تفتيش نونتشاكو لايت داخل ديفيوزرز من دون محرك استدلال منفصل أو تجميع CUDA محلي. وتقول التدوينة إن الطريقة تستخدم أوزانا وتنشيطات رباعية البت في طبقات المحول الرئيسة لتقليل الذاكرة وتسريع حلقة إزالة الضجيج. وتعرض الشركة أرقاما من اختباراتها على بطاقات بلاكويل، مع الإشارة إلى أن الدعم يعتمد على جيل وحدة الرسوم ودقة نقطة التفتيش وأن فولتا وهوبر غير مدعومين حاليا بالنوى رباعية البت.
Summary version for Medium
Hugging Face Adds 4-Bit Nunchaku Loading To Diffusers
Why this hardware shift matters for AI and compute buyers
Quick Summary: Hugging Face added Nunchaku Lite support to Diffusers, letting developers load 4-bit diffusion checkpoints with `from_pretrained()` while using Hub-delivered CUDA kernels.
Diffusers gets a 4-bit loading path
A July 23 Hugging Face blog post introduced a Diffusers integration for Nunchaku Lite, giving text-to-image developers a way to load Nunchaku-style 4-bit checkpoints through the standard `from_pretrained()` workflow. The post describes modern BF16 text-to-image pipelines as often requiring 20-30 GB of VRAM, while earlier Diffusers quantization options such as bitsandbytes, GGUF, torchao and Quanto mainly reduce model weight storage.
Kernels arrive through the Hub
Nunchaku Lite loads without a custom pipeline class, separate inference engine or local CUDA compilation, according to the post.
- Point 1: The central topic is chips-semiconductors, with the announcement framed around concrete operating detail.
- Point 2: The runtime patches relevant `nn.Linear` modules in a stock Diffusers model with SVDQ or AWQ linear layers before loading the checkpoint, and CUDA kernels are downloaded through...
The useful takeaway is the operating constraint behind the announcement, not the announcement alone.
Benchmarks stay vendor-owned
According to Hugging Face's example, one Nunchaku NVFP4 transformer paired with a bitsandbytes NF4 text encoder generated a square 1024-pixel image in roughly 1.7 seconds on an RTX 5090, while peak memory was about 12 GB; the same paragraph placed the BF16 pipeline at about 24 GB. In a separate RTX PRO 6000 Blackwell benchmark, the blog listed a BF16 baseline at 3.00 seconds for the full pipeline and 31.1 GB peak VRAM.
Read the Full Deep Dive
Want to explore the complete technical analysis, enterprise trade-offs, and detailed metrics?
Read the full article originally published at SendTech Times
