大型语言模型（LLM）的世界长期被需要专用硬件和大量计算资源的模型所主导。但如果你能在普通台式机甚至笔记本上运行一个功能强大的 AI 模型呢？微软的 BitNet B1.58 正引领着超高效 1-bit LLM 的新时代，它在大幅降低资源需求的同时，依然能提供令人印象深刻的性能表现。本指南将全面介绍如何在本地搭建并运行 BitNet B1.58，为个人 AI 项目和应用开辟新可能。

1. 介绍

什么是 BitNet B1.58？

BitNet B1.58 代表了 LLM 设计上的一次革命性转变，采用了原生的 1-bit 量化技术。传统模型通常使用 16-bit 或 32-bit 浮点权重，而 BitNet 采用三值权重，仅包含三个可能的取值：-1、0 和 +1。这种创新方法带来了“1.58-bit”这一命名（log₂3 ≈ 1.58），显著降低了内存需求和计算复杂度。