C言語で大規模言語モデル（LLM：Large Language Model）を訓練できるライブラリ「llm.c」を教えて！
こういった悩みにお答えします．
本記事の信頼性
- リアルタイムシステムの研究歴12年．
- 東大教員の時に，英語でOS（Linuxカーネル）の授業．
- 2012年9月～2013年8月にアメリカのノースカロライナ大学チャペルヒル校（UNC）コンピュータサイエンス学部で客員研究員として勤務．C言語でリアルタイムLinuxの研究開発．
- プログラミング歴15年以上，習得している言語: C/C++，Python，Solidity/Vyper，Java，Ruby，Go，Rust，D，HTML/CSS/JS/PHP，MATLAB，Assembler (x64，ARM)．
- 東大教員の時に，C++言語で開発した「LLVMコンパイラの拡張」，C言語で開発した独自のリアルタイムOS「Mcube Kernel」をGitHubにオープンソースとして公開．
- 2020年1月～現在はアメリカのノースカロライナ州チャペルヒルにあるGuarantee Happiness LLCのCTOとしてECサイト開発やWeb/SNSマーケティングの業務．2022年6月～現在はアメリカのノースカロライナ州チャペルヒルにあるJapanese Tar Heel, Inc.のCEO兼CTO．
- 最近は自然言語処理AIとイーサリアムに関する有益な情報発信に従事．
- （AI全般を含む）自然言語処理AIの論文の日本語訳や，AIチャットボット（ChatGPT，Auto-GPT，Gemini（旧Bard）など）の記事を50本以上執筆．アメリカのサンフランシスコ（広義のシリコンバレー）の会社でプロンプトエンジニア・マネージャー・Quality Assurance（QA）の業務委託の経験あり．
- （スマートコントラクトのプログラミングを含む）イーサリアムや仮想通貨全般の記事を200本以上執筆．イギリスのロンドンの会社で仮想通貨の英語の記事を日本語に翻訳する業務委託の経験あり．
こういった私から学べます．
C言語を独学で習得することは難しいです．
私にC言語の無料相談をしたいあなたは，公式LINE「ChishiroのC言語」の友だち追加をお願い致します．
私のキャパシティもあり，一定数に達したら終了しますので，今すぐ追加しましょう！
独学が難しいあなたは，元東大教員がおすすめするC言語を学べるオンラインプログラミングスクール5社で自分に合うスクールを見つけましょう．後悔はさせません！
llm.c
llm.cは，PyTorchやcPythonなしの純粋なC言語とCUDAを利用して大規模言語モデル（LLM：Large Language Model）を訓練できるライブラリです．
llm.cを利用することで，PyTorchより約7%高速にLLMを訓練できます．
「llm.c」の「llm」は大規模言語モデル，「.c」はC言語のソースファイルにつける拡張子なので，C言語のソースファイルのファイル名のようなライブラリの名前は良いですね！
2024年7月現在のllm.cは，事前訓練（特にGPT-2とGPT-3の再現）と，train_gpt2.pyでの並列PyTorchリファレンス実装に焦点を当てているとのことです．
将来的には，最先端のChatGPTの訓練でllm.cが使われるかもしれませんね．
ChatGPTの始め方や使い方を知りたいあなたはこちらからどうぞ．
llm.cはGitHubでオープンソースとして公開されています．
|
1 |
$ git clone https://github.com/karpathy/llm.c |
オープンソースのライセンスはMIT Licenseです．
llm.cを他の言語や環境で実行するプロジェクト
llm.cを他の言語や環境で実行するプロジェクトが行われています．
詳細はllm.cの公式ページに記載してあります．
2024年7月現在のプロジェクトは以下になります．
- AMD support
- C#
- CUDA C++
- Go
- Java
- Metal
- Mojo
- OpenCL
- Rust
- Swift
- Zig
これに関連して，C言語では他の言語（C++/Rust/Python/Go/Java言語）の関数を呼び出すことができます．
この方法を知りたいあなたはこちらからどうぞ．
llm.cの紹介動画
llm.cの紹介動画です．
llm.cの紹介記事
llm.cの紹介記事は以下になります．
まとめ
C言語で大規模言語モデル（LLM：Large Language Model）を訓練できるライブラリ「llm.c」を紹介しました．
llm.cをきっかけに生成AIでC言語が広く使われると良いですね！
C言語を独学で習得することは難しいです．
私にC言語の無料相談をしたいあなたは，公式LINE「ChishiroのC言語」の友だち追加をお願い致します．
私のキャパシティもあり，一定数に達したら終了しますので，今すぐ追加しましょう！
独学が難しいあなたは，元東大教員がおすすめするC言語を学べるオンラインプログラミングスクール5社で自分に合うスクールを見つけましょう．後悔はさせません！
