LLaMA 2を推論できるフレームワーク「llama2.c」を教えて！
こういった悩みにお答えします．
本記事の信頼性
- リアルタイムシステムの研究歴12年．
- 東大教員の時に，英語でOS（Linuxカーネル）の授業．
- 2012年9月～2013年8月にアメリカのノースカロライナ大学チャペルヒル校（UNC）コンピュータサイエンス学部で客員研究員として勤務．C言語でリアルタイムLinuxの研究開発．
- プログラミング歴15年以上，習得している言語: C/C++，Python，Solidity/Vyper，Java，Ruby，Go，Rust，D，HTML/CSS/JS/PHP，MATLAB，Assembler (x64，ARM)．
- 東大教員の時に，C++言語で開発した「LLVMコンパイラの拡張」，C言語で開発した独自のリアルタイムOS「Mcube Kernel」をGitHubにオープンソースとして公開．
- 2020年1月～現在はアメリカのノースカロライナ州チャペルヒルにあるGuarantee Happiness LLCのCTOとしてECサイト開発やWeb/SNSマーケティングの業務．2022年6月～現在はアメリカのノースカロライナ州チャペルヒルにあるJapanese Tar Heel, Inc.のCEO兼CTO．
- 最近は自然言語処理AIとイーサリアムに関する有益な情報発信に従事．
- （AI全般を含む）自然言語処理AIの論文の日本語訳や，AIチャットボット（ChatGPT，Auto-GPT，Gemini（旧Bard）など）の記事を50本以上執筆．アメリカのサンフランシスコ（広義のシリコンバレー）の会社でプロンプトエンジニア・マネージャー・Quality Assurance（QA）の業務委託の経験あり．
- （スマートコントラクトのプログラミングを含む）イーサリアムや仮想通貨全般の記事を200本以上執筆．イギリスのロンドンの会社で仮想通貨の英語の記事を日本語に翻訳する業務委託の経験あり．
こういった私から学べます．
C言語を独学で習得することは難しいです．
私にC言語の無料相談をしたいあなたは，公式LINE「ChishiroのC言語」の友だち追加をお願い致します．
私のキャパシティもあり，一定数に達したら終了しますので，今すぐ追加しましょう！
独学が難しいあなたは，元東大教員がおすすめするC言語を学べるオンラインプログラミングスクール5社で自分に合うスクールを見つけましょう．後悔はさせません！
目次
llama2.c
llama2.cは，LLaMA 2を推論できるC言語フレームワークです．
llama2.cはllama.cppから影響を受けて開発されています．
llama.cppを知りたいあなたはこちらからどうぞ．
llama2.cはGitHubでオープンソースとして公開されています．
|
1 |
$ git clone https://github.com/karpathy/llama2.c |
オープンソースのライセンスはMIT Licenseです．
llama2.cの特徴や制約は以下になります．
- PyTorchでLLaMA 2 LLMアーキテクチャを訓練し，純粋なC言語で書かれた約700行のファイル「run.c」でLLaMA 2を推論できること
- llama.cppと比べると，超シンプルかつ最小限で教育的なものであること
- （2024年8月現在）fp32のモデルしか推論できないため，7B以上のモデルを読み込むことやモデルの量子化ができないこと
llama2.cを他の言語や環境で実行するプロジェクト
llama2.cを他の言語や環境で実行するプロジェクトが行われています．
詳細はllama2.cの公式ページに記載してあります．
主なプロジェクトは以下になります．
- C言語
- llama3.c（@jameswdelancey）：llama2.cのLLaMA 3 8Bベースと命令の移植版
- C++言語
- llama2.cpp（@leloykun）：llama2.cのC++移植版
- llama2.cpp（@coldlarry）：llama2.cのC++移植版
llama2.cの紹介動画
llama2.cの紹介動画です．
llama2.cの紹介記事
llama2.cの紹介記事は以下になります．
- 【llama2.c】15Mに満たない言語モデルで小さな物語を紡ぐ
- Google Colab でllama2.c をトレーニングする方法
- GPU無し，コンテナも使わない，RAM=8GBでllama2.c - 実用抜き，モデル生成から推論実行まで
まとめ
LLaMA 2を推論できるC言語フレームワーク「llama2.c」を紹介しました．
llama2.cに影響を受けてC言語を学ぶ人が増えると嬉しいですね！
C言語を独学で習得することは難しいです．
私にC言語の無料相談をしたいあなたは，公式LINE「ChishiroのC言語」の友だち追加をお願い致します．
私のキャパシティもあり，一定数に達したら終了しますので，今すぐ追加しましょう！
独学が難しいあなたは，元東大教員がおすすめするC言語を学べるオンラインプログラミングスクール5社で自分に合うスクールを見つけましょう．後悔はさせません！
