MicrosoftによるC/C++言語の1-bit LLM推論フレームワーク「bitnet.cpp」を教えて！
こういった悩みにお答えします．
本記事の信頼性
- リアルタイムシステムの研究歴12年．
- 東大教員の時に，英語でOS（Linuxカーネル）の授業．
- 2012年9月～2013年8月にアメリカのノースカロライナ大学チャペルヒル校（UNC）コンピュータサイエンス学部で客員研究員として勤務．C言語でリアルタイムLinuxの研究開発．
- プログラミング歴15年以上，習得している言語: C/C++，Python，Solidity/Vyper，Java，Ruby，Go，Rust，D，HTML/CSS/JS/PHP，MATLAB，Assembler (x64，ARM)．
- 東大教員の時に，C++言語で開発した「LLVMコンパイラの拡張」，C言語で開発した独自のリアルタイムOS「Mcube Kernel」をGitHubにオープンソースとして公開．
- 2020年1月～現在はアメリカのノースカロライナ州チャペルヒルにあるGuarantee Happiness LLCのCTOとしてECサイト開発やWeb/SNSマーケティングの業務．2022年6月～現在はアメリカのノースカロライナ州チャペルヒルにあるJapanese Tar Heel, Inc.のCEO兼CTO．
- 最近は自然言語処理AIとイーサリアムに関する有益な情報発信に従事．
- （AI全般を含む）自然言語処理AIの論文の日本語訳や，AIチャットボット（ChatGPT，Auto-GPT，Gemini（旧Bard）など）の記事を50本以上執筆．アメリカのサンフランシスコ（広義のシリコンバレー）の会社でプロンプトエンジニア・マネージャー・Quality Assurance（QA）の業務委託の経験あり．
- （スマートコントラクトのプログラミングを含む）イーサリアムや仮想通貨全般の記事を200本以上執筆．イギリスのロンドンの会社で仮想通貨の英語の記事を日本語に翻訳する業務委託の経験あり．
こういった私から学べます．
C言語を独学で習得することは難しいです．
私にC言語の無料相談をしたいあなたは，公式LINE「ChishiroのC言語」の友だち追加をお願い致します．
私のキャパシティもあり，一定数に達したら終了しますので，今すぐ追加しましょう！
独学が難しいあなたは，元東大教員がおすすめするC言語を学べるオンラインプログラミングスクール5社で自分に合うスクールを見つけましょう．後悔はさせません！
目次
bitnet.cpp
bitnet.cppは，MicrosoftによるC/C++言語の1-bit LLM推論フレームワークです．
bitnet.cppはllama.cppをベースに開発されています．
llama.cppを知りたいあなたはこちらからどうぞ．
bitnet.cppはGitHubでオープンソースとして公開されています．
|
1 |
$ git clone https://github.com/microsoft/BitNet |
オープンソースのライセンスはMIT Licenseです．
bitnet.cppの特徴は以下になります．
- CPU上で1.58ビットモデルの高速かつロスレスな推論をサポート（NPUとGPUはサポート予定）
- ARM CPU上では，速度向上は1.37倍から5.07倍を達成し，消費電力を55.4%から70.0%削減
- x86 CPUでは，速度向上は2.37倍から6.17倍を達成し，消費電力を71.9%から82.2%削減
- 100B BitNet b1.58モデルをシングルCPUで実行し，人間の読書速度に匹敵する速度（毎秒5～7トークン）を達成
bitnet.cppの紹介動画
bitnet.cppの紹介動画です．
bitnet.cppの紹介記事
bitnet.cppの紹介記事です．
- bitnet.cpp を試す
- bitnet.cppとは？Microsoftの新たな1ビットLLM推論フレームワーク！
- What is a 1-bit LLM? — Bitnet.cpp may eliminate GPUs
- Microsoft’s bitnet.cpp: Democratizing AI with 1-bit Large Language Models
まとめ
MicrosoftによるC/C++言語の1-bit LLM推論フレームワーク「bitnet.cpp」を紹介しました．
bitnet.cppはエネルギー効率が高いことがわかりました．
C言語を独学で習得することは難しいです．
私にC言語の無料相談をしたいあなたは，公式LINE「ChishiroのC言語」の友だち追加をお願い致します．
私のキャパシティもあり，一定数に達したら終了しますので，今すぐ追加しましょう！
独学が難しいあなたは，元東大教員がおすすめするC言語を学べるオンラインプログラミングスクール5社で自分に合うスクールを見つけましょう．後悔はさせません！
