複数ノードを使ってApptainer + MPIでコンテナ間プロセス並列を試してみる

### レポジトリより一式をclone
> git clone https://github.com/apptainer/apptainer.git
> cd apptainer/tools
### ユーザレベルでのインストールが一番作業量を少なくできたためコレで
> bash install-unprivileged.sh -a aarch64 /home/ro644/
### PATHにapptainerコマンドを追加する
> echo 'export PATH=$PATH:/home/ro644/aarch64/bin' >> ~/.bashrc
> source ~/.bashrc
### 正常にインストールできたことを確認
> apptainer --version
apptainer version 1.3.3-1.el8

### ubuntuの最新版docker imageをダウンロード
> apptainer build --sandbox mpi-multinodes docker://ubuntu:latest
### fakerootを使うことで一般ユーザ権限でも疑似的にコンテナ内でroot権限を握る
> apptainer shell --fakeroot -w mpi-multinodes
### ここからコンテナ内の操作
> apt update
> apt-get install openmpi-bin/noble openmpi-doc/noble libopenmpi-dev/noble
### ホストマシン側とOpen MPIのversionをそろえた方がよいかもしれない
> mpirun --version
mpirun (Open MPI) 4.1.6
### 正常動作を確認後、次の作業のためコンテナから抜ける
> exit

### 用意したコンテナからimage(mpi-multinodes.sif)を作成する。
### fakerootを利用しないと権限不足のエラーが出力されるため付与
> apptainer build --fakeroot mpi-multinodes.sif mpi-multinodes/
> ls -l mpi-multinodes.sif
-rwxr-xr-x 1 ro644 ro644 206M Sep  1 12:22 mpi-multinodes.sif
### SIFファイルを転送する。
> scp mpi-multinodes.sif sakura:/home/ro644

### 転送したimageからコンテナを生成する
> apptainer build --sandbox mpi-multinodes ./mpi-multinodes.sif
WARNING: No default remote in use, falling back to default keyserver: https://keys.openpgp.org
INFO:    Starting build...
INFO:    Verifying bootstrap image mpi-multinodes.sif
INFO:    Creating sandbox directory...
INFO:    Build complete: mpi-multinodes

### 今回はed25519で、パスフレーズを無しにして鍵を生成しました
> ssh-keygen -t ed25519 -N ''
Generating public/private ed25519 key pair.
Enter file in which to save the key (/home/ro644/.ssh/id_ed25519):
Your identification has been saved in /home/ro644/.ssh/id_ed25519
Your public key has been saved in /home/ro644/.ssh/id_ed25519.pub
The key fingerprint is:
(中略)
> cat /home/ro644/.ssh/id_ed25519.pub
### catの結果を他方のラズパイ(計算ノード)上の.ssh/authorized_keysに追記する

### sshd_configの中の下記項目をnoからyesに変更
PubkeyAuthentication yes
### serviceの確認
> sudo systemctl status sshd.service
### serviceの再起動
> sudo systemctl restart sshd.service
### serviceの確認 (念のため)
> sudo systemctl status sshd.service
### サービス起動確認後、ssh接続できることを確認する
> ssh sakura

### mpiccにてコンパイルおよびmpirunにて実行できるようにしておく
> sudo apt-get install openmpi-bin libopenmpi-dev openmpi-common
### 正常に動作することを確認する (versionを揃えておけばよかったかも(n=2))
> mpirun --version
mpirun (Open MPI) 4.1.4
### hostlistという名称でノード名をまとめたファイルを作成
> cat hostlist
sakuya
sakura

#include <stdio.h>
#include <mpi.h>

int main(int argc, char *argv[]) {
  int rank;                 // ランク
  int name_length = 32;     // ホスト名の長さ
  char name[name_length];   // ホスト名

  MPI_Init(&argc, &argv);                      // MPIの初期化
  MPI_Comm_rank(MPI_COMM_WORLD, &rank);        // ランクの取得
  MPI_Get_processor_name(name, &name_length);  // ホスト名の取得

  printf("Hello world from %s! Rank is %d.\n", name, rank);

  MPI_Finalize();                              // MPIの終了
  return 0;
}

### MPI実行時のコマンド
> mpirun --np 8 --hostfile hostlist --mca btl_vader_single_copy_mechanism none /home/ro644/aarch64/bin/apptainer exec mpi-multinodes /home/ubuntu/a.out
### 下記が実行結果 一部warningが表示されているが成功していそう。
Authorization required, but no authorization protocol specified
(中略)
Authorization required, but no authorization protocol specified
Hello world from sakuya! Rank is 0.
Hello world from sakuya! Rank is 2.
Hello world from sakuya! Rank is 3.
Hello world from sakuya! Rank is 1.
Hello world from sakura! Rank is 6.
Hello world from sakura! Rank is 7.
Hello world from sakura! Rank is 4.
Hello world from sakura! Rank is 5.

### プロセス数を調整するため、下記のように設定してmake
> paramset.sh S 1 2 4
> make
> ls -l bmt
-rwxr-xr-x 1 ro644 ro644 72608 Sep  3 12:08 bmt

ro644@sakuya:~ $ mpirun --np 8 --hostfile hostlist --mca btl_vader_single_copy_mechanism none /home/ro644/aarch64/bin/apptainer exec mpi-multinodes bmt
Authorization required, but no authorization protocol specified
(中略)
Authorization required, but no authorization protocol specified

Sequential version array size
 mimax = 65 mjmax = 65 mkmax = 129
Parallel version array size
 mimax = 65 mjmax = 35 mkmax = 35
imax = 64 jmax = 33 kmax =33
I-decomp = 1 J-decomp = 2 K-decomp =4
 Start rehearsal measurement process.
 Measure the performance in 3 times.

 MFLOPS: 759.172310 time(s): 0.065075 3.294656e-03

 Now, start the actual measurement process.
 The loop will be excuted in 2766 times
 This will take about one minute.
 Wait for a while

cpu : 55.531830 sec.
Loop executed for 2766 times
Gosa : 3.007379e-05
MFLOPS measured : 820.243942
Score based on Pentium III 600MHz : 9.901544