- Microsoft研究チームが史上最大規模の1ビットAIモデル「BitNet b1.58 2B4T」を開発
- AppleのM2を含むCPUで動作可能なモデルをMITライセンスで公開
- 同サイズの他モデルと同等の性能を維持しながらメモリ使用量と処理速度を大幅に向上
- 専用フレームワーク「bitnet.cpp」が必要なためGPUとの互換性に課題
軽量ハードウェアで動作する新世代モデル
Microsoft研究チームは、これまでで最大規模の1ビットAIモデル（「bitnet」としても知られる）を開発したと発表した。「BitNet b1.58 2B4T」と名付けられたこのモデルはMITライセンスの下で公開され、AppleのM2を含むCPUで動作可能だという。
ビットネットは本質的に軽量ハードウェアで実行できるように圧縮されたモデルだ。標準的なモデルでは、モデルの内部構造を定義する値である「重み」が量子化されることが多く、これによって幅広いマシンでモデルが良好に動作する。重みの量子化は、それらの重みを表現するために必要なビット（コンピュータが処理できる最小単位）の数を減らし、メモリの少ないチップでもモデルを高速に実行することを可能にする。
革新的な1ビット量子化技術
ビットネットは重みを-1、0、1の3つの値だけに量子化する。理論的には、これによって現在の多くのモデルよりもはるかにメモリと計算効率が向上する。
Microsoft研究者によると、BitNet b1.58 2B4Tは20億のパラメータを持つ初のビットネットであり、「パラメータ」は「重み」とほぼ同義だ。約4兆トークン（ある推定によれば約3,300万冊の本に相当）のデータセットでトレーニングされたBitNet b1.58 2B4Tは、同様のサイズの従来のモデルよりも優れたパフォーマンスを発揮すると研究者らは主張している。
性能比較と実用的な利点
BitNet b1.58 2B4Tは同じ20億パラメータの競合モデルを圧倒しているわけではないが、十分に互角に渡り合っているようだ。研究者らのテストによると、このモデルはGSM8K（小学校レベルの数学問題のコレクション）やPIQA（物理的な常識的推論能力をテストするもの）などのベンチマークで、MetaのLlama 3.2 1B、GoogleのGemma 3 1B、AlibabaのQwen 2.5 1.5Bを上回る性能を示した。
さらに印象的なのは、BitNet b1.58 2B4Tが同サイズの他のモデルよりも高速（場合によっては2倍の速度）であり、メモリ使用量も大幅に少ないことだ。
現状の課題と将来性
ただし、注意点がある。その性能を実現するには、現時点では特定のハードウェアでのみ動作するMicrosoftのカスタムフレームワーク「bitnet.cpp」を使用する必要がある。AI基盤で主流となっているGPUはサポートされているチップのリストには含まれていない。
つまり、ビットネットは特にリソースに制約のあるデバイスにとって有望かもしれないが、互換性は現在も将来も大きな障害となる可能性が高い。
引用元：TechCrunch
Microsoft researchers say they’ve developed a hyper-efficient AI model that can run on CPUs
