【第1回】元東大教員から学ぶLinuxカーネル「Linuxカーネルとは」

本記事の信頼性

リアルタイムシステムの研究歴12年．
東大教員の時に，英語でOS（Linuxカーネル）の授業．
2012年9月～2013年8月にアメリカのノースカロライナ大学チャペルヒル校（UNC）コンピュータサイエンス学部で客員研究員として勤務．C言語でリアルタイムLinuxの研究開発．
プログラミング歴15年以上，習得している言語: C/C++，Python，Solidity/Vyper，Java，Ruby，Go，Rust，D，HTML/CSS/JS/PHP，MATLAB，Verse（UEFN）, Assembler (x64，ARM)．
東大教員の時に，C++言語で開発した「LLVMコンパイラの拡張」，C言語で開発した独自のリアルタイムOS「Mcube Kernel」をGitHubにオープンソースとして公開．
2020年1月～現在はアメリカのノースカロライナ州チャペルヒルにあるGuarantee Happiness LLCのCTOとしてECサイト開発やWeb/SNSマーケティングの業務．2022年6月～現在はアメリカのノースカロライナ州チャペルヒルにあるJapanese Tar Heel, Inc.のCEO兼CTO．
最近は自然言語処理AIとイーサリアムに関する有益な情報発信に従事．

（AI全般を含む）自然言語処理AIの論文の日本語訳や，AIチャットボット（ChatGPT，Auto-GPT，Gemini（旧Bard）など）の記事を50本以上執筆．アメリカのサンフランシスコ（広義のシリコンバレー）の会社でプロンプトエンジニア・マネージャー・Quality Assurance（QA）の業務委託の経験あり．
（スマートコントラクトのプログラミングを含む）イーサリアムや仮想通貨全般の記事を200本以上執筆．イギリスのロンドンの会社で仮想通貨の英語の記事を日本語に翻訳する業務委託の経験あり．

こういった私から学べます．

Linuxカーネルの記事一覧はこちらからどうぞ．

: 元東大教員から学ぶLinuxカーネル

こういった私から学べます． Linuxカーネルとは，C言語で開発されたオープンソースのOSです． Linuxカーネルは主に以下のコンピュータで広く利用されています．スーパーコンピュータサーバAndr ...

続きを見る

LinuxカーネルはC言語で書かれています．

私にC言語の無料相談をしたいあなたは，公式LINE「ChishiroのC言語」の友だち追加をお願い致します．

私のキャパシティもあり，一定数に達したら終了しますので，今すぐ追加しましょう！

独学が難しいあなたは，元東大教員がおすすめするC言語を学べるオンラインプログラミングスクール5社で自分に合うスクールを見つけましょう．後悔はさせません！

: 元東大教員がおすすめするC言語を学べるオンラインプログラミングスクール5社

こういった悩みにお答えします．こういった私が解説していきます．私が大学の授業で初めてC言語を勉強した時は全然できませんでしたが，先生やTA，友人に相談しながら一生懸命C言語を勉強してできるようにな ...

続きを見る

Linuxカーネルとは

Linuxカーネルとは，Operating System（OS）のカーネル（OSと中核となる部分）の一つです．

例えば，Windows，Mac OS X，FreeBSD等が挙げられます．

OSは以下の役割を担います．

利便性や移植性の向上するためにハードウェアの抽象化（ユーザがハードウェアの機能を関数呼び出しで（暗黙的に）利用できること）
複数のアプリケーション間のハードウェアの多重化（どのアプリケーションがどのハードウェアを利用しているかを関数呼び出しで（暗黙的に）利用できること）
バグを含むアプリケーションのアイソレーション（分離して独立で実行すること）
アプリケーション間でのデータ等の共有の許可

また，コンピュータは以下の3つの階層から構成されています．

ユーザ：アプリケーション（例：emacs，gcc）
カーネル：ファイルシステム，プロセス等
ハードウェア：CPU，メモリ，ストレージ等

カーネルはユーザとハードウェアをつなぐためのインターフェースの役割を担います．

カーネルのコア機能として，以下が挙げられます．

プロセス（スケジューリング）
メモリ管理
ファイルシステム（ディレクトリ，ファイル名）
セキュリティ
その他のコア機能（ユーザ管理，Inter Process Communication（IPC），ネットワーク，時刻管理，端末等）

これらのコア機能により，アプリケーションを抽象化できます．

システムコールは，OSとコミュニケーションするアプリケーションのインターフェースです．

下記のソースコードの例では，open，write，fork関数は，プロセスやファイルディスクリプタをシステムコールにより抽象化できます．

fd = open("out", 1);
write(fd, "hello\n", 6);
pid = fork();

fd = open("out", 1);

write(fd, "hello\n", 6);

pid = fork();

なぜLinuxカーネルが面白いのか？

OSデザインは，以下の相反する目標とトレードオフを扱うからです．

高効率的かつ高移植性
パワフルかつシンプル
アイソレーションかつインタラクティブ
汎用的かつ高性能

OSの主な未解決の課題は，マルチコア対応とセキュリティです．

最先端のOSは，上記の課題にどのように対処しているのでしょうか？

Linuxカーネルをハック（プログラムを分析）して学びましょう！

Linuxカーネルは，とても大規模なソフトウェアプロジェクトです．

Linuxカーネルは，1991年に生みの親のリーナス・トーバルズ（Linus Torvalds）が一人で1万行ほどC言語プログラムを書いてオープンソースに公開して始まったプロジェクトです．

※Linuxの名前は，生みの親のLinusの名前から取って「Linux」になりました．

最初のLinuxカーネルのバージョン0.01は，こちらからダウンロードできます．

2017年にはLinuxカーネルは2,500万行になり，2022年1月16日のバージョン5.15.0では約2,833万行になりました（.cファイルと.hファイルのコードのみ計測）．

毎日約7,500行のコードが追加されています．

下図に，Linuxカーネルの合計ソースコード行数の推移を示します．

ソースコードの行数を数えたいあなたはclocコマンドを利用しましょう．

まずは，以下のコマンドでclocをインストールします．

$ sudo apt-get install cloc

1	$ sudo apt-get install cloc

次に，以下のように実行してLinuxカーネルのバージョン5.15のコードの行数を計測します．

$ cd linux-5.15
$ cloc .
   73568 text files.
   73082 unique files.                                          
   10734 files ignored.

github.com/AlDanial/cloc v 1.90  T=108.41 s (579.9 files/s, 276997.1 lines/s)
---------------------------------------------------------------------------------------
Language                             files          blank        comment           code
---------------------------------------------------------------------------------------
C                                    30410        3063333        2456987       15626226
C/C++ Header                         22021         622642        1126091        5432655
reStructuredText                      2956         147014          59109         404268
Assembly                              1285          46007          98193         223171
JSON                                   357              2              0         183332
YAML                                  2000          35042           9130         158100
Bourne Shell                           753          21851          15039          85581
make                                  2657          10198          11266          45998
SVG                                     59             78           1159          37555
Perl                                    65           7103           4967          35850
Python                                 139           5758           5453          29333
yacc                                     9            693            355           4761
PO File                                  5            791            918           3077
lex                                      9            345            303           2104
C++                                     10            349            138           1935
Bourne Again Shell                      51            297            248           1305
awk                                     11            155            126           1111
Glade                                    1             58              0            603
NAnt script                              2            147              0            585
CSV                                      7             73              0            540
Cucumber                                 1             30             50            182
TNSDL                                    2             33              0            140
Clojure                                 42              7              0            127
Windows Module Definition                2             15              0            109
m4                                       1             15              1             95
CSS                                      1             28             29             80
XSLT                                     5             13             26             61
vim script                               1              3             12             27
Ruby                                     1              4              0             25
INI                                      1              1              0              6
sed                                      1              2              5              5
---------------------------------------------------------------------------------------
SUM:                                 62865        3962087        3789605       22278947
---------------------------------------------------------------------------------------

$ cd linux-5.15

$ cloc .

73568 text files.

73082 unique files.

10734 files ignored.

github.com/AlDanial/cloc v 1.90 T=108.41 s (579.9 files/s, 276997.1 lines/s)

---------------------------------------------------------------------------------------

Language files blank comment code

---------------------------------------------------------------------------------------

C 30410 3063333 2456987 15626226

C/C++ Header 22021 622642 1126091 5432655

reStructuredText 2956 147014 59109 404268

Assembly 1285 46007 98193 223171

JSON 357 2 0 183332

YAML 2000 35042 9130 158100

Bourne Shell 753 21851 15039 85581

make 2657 10198 11266 45998

SVG 59 78 1159 37555

Perl 65 7103 4967 35850

Python 139 5758 5453 29333

yacc 9 693 355 4761

PO File 5 791 918 3077

lex 9 345 303 2104

C++ 10 349 138 1935

Bourne Again Shell 51 297 248 1305

awk 11 155 126 1111

Glade 1 58 0 603

NAnt script 2 147 0 585

CSV 7 73 0 540

Cucumber 1 30 50 182

TNSDL 2 33 0 140

Clojure 42 7 0 127

Windows Module Definition 2 15 0 109

m4 1 15 1 95

CSS 1 28 29 80

XSLT 5 13 26 61

vim script 1 3 12 27

Ruby 1 4 0 25

INI 1 1 0 6

sed 1 2 5 5

---------------------------------------------------------------------------------------

SUM: 62865 3962087 3789605 22278947

---------------------------------------------------------------------------------------

Linuxカーネルの開発サイクルはとても速いです．

約70日毎にリリースし，リリース毎に約250社の企業（約1,600人の開発者）が13,000個のパッチ（ソースコードの一部）を提供しています．

したがって，Linuxカーネルは最もよく書かれた/設計された/保守されたCコードの1つです．

Linuxカーネル開発の詳細は，2017 Linux Kernel Development Reportに記載してありますので，興味があるあなたは是非読み進めて下さい！

Linuxカーネルは世界中で広く使われています．

スマートフォンやタブレットの85.1%はLinux（Android）で動作しています．（iOSは14.9%です．）

トップ100万台のWebサーバの98%，スーパーコンピュータの99%はLinuxで動作しています．

2020年6月に，SpaceXがLinuxを採用したニュースで話題になりました．

無償のLinuxカーネル開発者からの貢献は減少傾向です．

2012年は全体の14.4%だったのが，2013年では13.6%，2014年では11.8%，2015年では7.7%になっています．

この減少には多くの理由が考えられますが，一番の理由はLinuxカーネル開発者が不足していることです．

Linuxカーネルのメインラインにコードを入れる能力を証明すれば，誰でも仕事の依頼に困ることはないでしょう．

世界レベルのソフトウェアエンジニアとして働きたいあなたは，是非Linuxカーネルを学びましょう！

Linuxの歴史

上図にUNIXの歴史を示します．

Linuxは図の左から2番目にあり，1991年から開発されたUNIX-likeなOSであることがわかります．

1991年にLinuxのバージョン0.01がリリースして現在まで開発が続いています．

※図中にはないですが，2022年1月16日にバージョン5.15.0がリリースしました．

Linuxの開発はLinusがcomp.os.minixに投稿した以下のメールから始まりました．日本語訳も追加しています．

From: torvalds@klaava.Helsinki.FI (Linus Benedict Torvalds)

Newsgroups: comp.os.minix

Subject: What would you like to see most in minix?

Summary: small poll for my new operating system

Message-ID: 1991Aug25.205708.9541@klaava.Helsinki.FI

Date: 25 Aug 91 20:57:08 GMT

Organization: University of Helsinki

Hello everybody out there using minix –

Minixを使っている皆さん，こんにちは．

I'm doing a (free) operating system (just a hobby, won't be big and professional like gnu) for 386(486) AT clones. This has been brewing since april, and is starting to get ready.

私は386(486) AT互換の（フリーの）オペレーティングシステム（OS）（単なる趣味で，GNUのように大きくてプロフェッショナルなものではありません）を作っています．

このOSは4月から開発していて，準備を始めています．

I'd like any feedback on things people like/dislike in minix, as my OS resembles it somewhat (same physical layout of the file-system (due to practical reasons) among other things).

私のOSがMINIXに似ているので（ファイルシステムの物理的なレイアウトが同じなので(特に実用的な理由で）），Minixの好き嫌いがある人の意見が欲しいです．

I've currently ported bash(1.08) and gcc(1.40), and things seem to work.

現在，bash（バージョン1.08）とGCC（バージョン1.40）を移植していますが，うまくいっているようです．

This implies that I'll get something practical within a few months, and Id like to know what features most people would want.

これは，私が数ヶ月以内に実用的になることを意味しており，ほとんどの人が望む機能を知りたいと思っています．

Any suggestions are welcome, but I won't promise I'll implement them 🙂

どんな提案でも歓迎しますが，実装することを約束するつもりはありません．🙂

Linus (torvalds@kruuna.helsinki.fi)

PS. Yes – it's free of any minix code, and it has a multi-threaded fs.

PS. はい - MINIXのコードは一切ありませんし，マルチスレッドのファイルシステムを持っています．

It is NOT portable (uses 386 task switching etc), and it probably never will support anything other than AT-harddisks, as that's all I have :-(.

（386のタスク切り替え等を使っているので）ポータブルではないし，おそらくAT互換のハードディスク以外はサポートしません．

https://groups.google.com/g/comp.os.minix/c/dlNtH7RRrGA/m/SwRavCzVE7gJ

Linuxの歴史は以下になります．

1991年：リーナス・トーバルズによる最初のLinuxバージョン0.01登場
1992年：GPLライセンスの下，最初のLinux配布
1994年：バージョン1.0リリース，i386向けシングルCPU対応，次にAlpha，Sparc，MIPSも対応
1996年：バージョン2.0リリース，マルチプロセッサ（SMP：Symmetric MultiProcessing）サポート
1999年：バージョン2.2リリース，ビッグカーネルロック（SMP対応のための単一の大域的なロック）の除去
2001年：バージョン2.4リリース，USB，RAID，Bluetooth等のサポート
2003年：バージョン2.6リリース，物理アドレス拡張（PAE：Physical Address Expansion ），新アーキテクチャのサポート等
2011年：バージョン3.0リリース，バージョン2.6からのインクリメンタルなリリースに変更．
2015年：バージョン4.0リリース，ライブパッチのサポート．
2019年：バージョン5.0リリース（4.21からの繰り上がり），グラフィックスドライバのサポートや改善．
2022年：バージョン5.15.0リリース，未来へと続く．．．

Linuxのオープンソースモデル

LinuxはオープンソースとしてThe Linux Kernel Archivesで配布されています．

また，GitHubのLinusのアカウントにあるLinuxカーネルのリポジトリで開発が行われています．

興味があるあなたは，GitHubにあるLinuxカーネルのリポジトリを読みましょう！

LinuxはGNU General Public License version 2（GPLv2）でライセンスされています

※明示的なsyscall例外と他のライセンスも適用可能な場合があることに注意して下さい．

GPLv2の条項の一部と日本語訳を以下に示します．

You may copy, distribute and modify the software as long as you track changes/dates in source files.

ソースファイルの変更/日付を追跡する限り，ソフトウェアをコピー，配布，変更できます．

Any modifications to or software including (via compiler) GPL-licensed code must also be made available under the GPL along with build & install instructions.

（コンパイラを介した）GPLライセンスのコードを含む改変やソフトウェアは，ビルドとインストールの指示とともにGPLの下で利用可能にしなければなりません．

https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html

リーナスが書いた本「伽藍とバザール」（The Cathedral and the Bazaar）に記載されているリーナスの法則によると，オープンソースモデルであるバザール方式の主なメリットは以下になります．

※Windowsや伽藍方式，Linuxはバザール方式で開発されています．

Given enough eyeballs, all bugs are shallow

十分な目ん玉があれば，全てのバグは洗い出される．

Given a large enough beta-test and co-developer base, almost every problem will be characterized quickly and the fix obvious to someone.

十分なベータテスターと共同開発者の基盤があれば，大半の問題はすぐに特定されて誰かが直す．

https://books.google.co.jp/books?id=F6qgFtLwpJgC&pg=PA30&redir_esc=y#v=onepage&q&f=false

Linuxカーネルのリリースサイクル

Linuxカーネルのリリースサイクルを説明します．

Linuxカーネルのバージョンは「（major）.（minor）.（stable）」と表記し，例えばバージョン5.10.7と表記します．

上図にLinuxカーネルの開発サイクルを示します．

バージョン5.9がリリースされた後，マージウィンドウが2週間，プリリリースの安定化期間が2ヶ月以内あり，その後に次のバージョン5.10がリリースされます．

また，Linuxカーネルには以下の4種類のリリースがあります．

プリパッチ（Prepatch）（もしくはリリース候補（RC：Release Candidate）カーネル）リリース：メインラインリリース前にテストするため
メインライン（mainline）リリース：全ての新しい機能を利用してリーナスによりメンテナンス
安定版（stable）リリース：メインラインカーネルのリリース後に追加のバグ修正
長期サポート版リリース（LTS：Long Term Support）：いくつかのリリース毎にリリース（例：バージョン4.4，4.9，4.14，4.19，5.4，5.10，5.15，...）

ここで，Ubuntu 22.04 LTSではLinuxカーネルのバージョンは5.15.0-30のような記載になります．

これは，Linuxカーネルのバージョン5.15をベースに30回の修正を加えたパッチ番号という意味になります．

このソースコードが欲しい場合は，以下のコマンドを入力しましょう．

$ grep '^deb ' /etc/apt/sources.list | sed 's/^deb /deb-src /g' | sudo tee /etc/apt/sources.list.d/deb-src.list
$ sudo apt update
$ sudo apt install dpkg-dev
$ apt source linux

$ grep '^deb ' /etc/apt/sources.list | sed 's/^deb /deb-src /g' | sudo tee /etc/apt/sources.list.d/deb-src.list

$ sudo apt update

$ sudo apt install dpkg-dev

$ apt source linux

lsコマンドを入力すると，以下のファイルがダウンロードできていることがわかります．

※動作しているカーネルのバージョンにより数字が異なります．

$ ls
linux_5.15.0-30.31.diff.gz  linux_5.15.0-30.31.dsc  linux_5.15.0.orig.tar.gz

1 2	$ ls linux_5.15.0-30.31.diff.gz linux_5.15.0-30.31.dsc linux_5.15.0.orig.tar.gz

Linuxカーネルの概要

上図にOSの概要を示します．

最初に説明した通り，ユーザ，カーネル，ハードウェアの3層において，OSの役割はユーザのアプリケーションとハードウェア（CPU，メモリ等）をつなぐためのインターフェースになります．

CPUはユーザ空間かカーネル空間のどちらかで実行します．

カーネルのみCPUやIOデバイスを制御するような特権操作を実行できます．

ユーザ空間のアプリケーションはシステムコール（例：open()，read()，write()，close()）によりカーネル空間とコミュニケーションします．

下表に，アーキテクチャ毎のユーザ空間のアプリケーションとOSのカーネルの関係を示します．

CPU	ユーザ空間のアプリケーション	OSのカーネル
x64（64ビットx86）アーキテクチャのリングプロテクション	リング3	リング0
AArch64（64ビットARM）アーキテクチャの例外レベル	例外レベル0	例外レベル1

上図に，readシステムコールの例を示します．

Python言語のコードmyfile.readlines()がCpython InterpreterによりC言語に翻訳され，C言語のライブラリにあるreadシステムコールを呼びます．

readシステムコールを呼び出したカーネル空間では，sys_read()，vfs_read()，ext2_readpage()，submit_bio()関数を呼び出してハードディスクドライブ（HDD：Hard Disk Drive）にアクセスします．

Linuxはモノリシックカーネル（単一のカーネル）です．

モノリシックカーネル伝統的なデザインで，OSの全ての機能がカーネルの特権モードで動作し，同じアドレス空間を共有します．

カーネルのインターフェースはほぼ全てシステムコールになります．

モノリシックカーネルの利点は，サブシステムとの連携がとりやすく，ファイルシステムや仮想メモリにより1つのキャッシュデータを共有できることです．

モノリシックカーネルの欠点は，相互作用が複雑になり，カーネルのアイソレーションができずにバグにつながることです．

これに対して，マイクロカーネルというOSのデザイン手法があります．

マイクロカーネルは，多くのOSのサービス（例：ファイルサーバのファイルシステム）が通常ユーザプログラムとして動作することです．

カーネルには，ユーザ空間でサービスを実行するための最低限の機構（例：IPC，仮想メモリ，スレッド）が実装されています．

カーネルのインターフェースはシステムコールではありません．

ユーザ空間のアプリケーションはIPCを介してサーバとコミュニケーションします．

マイクロカーネルの利点は，よりアイソレーションできることです．

マイクロカーネルの欠点は，IPCにより動作が遅くなることです．

有名なアンドリュー・タネンバウム（マイクロカーネル「MINIX」の生みの親）とリーナス・トーバルズ（モノリシックカーネル「Linux」の生みの親）の議論では，マイクロカーネルとモノリシックカーネルのどちらが優れているかで白熱したとのことです．

上図にLinuxカーネルの概要を示します．

これらの機能を今後説明していますので，楽しみにして下さい！

まとめ

今回は，Linuxカーネルの概要について紹介しました．

具体的には，以下の内容を解説しました．

Linuxカーネルとは
Linuxの歴史
Linuxのオープンソースモデル
Linuxカーネルのリリースサイクル
Linuxカーネルの概要

LinuxカーネルはC言語で書かれています．

私にC言語の無料相談をしたいあなたは，公式LINE「ChishiroのC言語」の友だち追加をお願い致します．

私のキャパシティもあり，一定数に達したら終了しますので，今すぐ追加しましょう！

: 元東大教員がおすすめするC言語を学べるオンラインプログラミングスクール5社

こういった悩みにお答えします．こういった私が解説していきます．私が大学の授業で初めてC言語を勉強した時は全然できませんでしたが，先生やTA，友人に相談しながら一生懸命C言語を勉強してできるようにな ...

続きを見る

次回はこちらからどうぞ．

: 【第2回】元東大教員から学ぶLinuxカーネル「開発ツールとカーネルプログラミング vs. ユーザプログラミング」

こういった私から学べます．前回を読んでいない方はこちらからどうぞ． Linuxカーネルの記事一覧はこちらからどうぞ．開発ツールとカーネルプログラミング vs. ユーザプログラミング今回は，Lin ...

続きを見る