Kubernetesポッドアフィニティ設定で最適な分散配置と高可用性を実現

Kubernetesでポッドのスケジューリングをどう賢くやるか、なんて話題は時々耳にするものの、仕組みを細かく理解している人は案外少ない気がします。ワークロードの分散とか効率化って、何となく大事そうだけど実際には七割くらい感覚に頼って配置してしまう場面も多いでしょう。ポッド同士の場所関係――いわゆるアフィニティやアンチアフィニティという言葉が出てきますけど、このあたり、使いこなせばリソース活用や可用性にも影響すると言われています。

このへんちょっと変な例えですが、例えば同じ種類の作業をまとめたいときとか、逆に似たような仕事ばかり一ヶ所に集まらないよう調整したいとき、とでも考えるとイメージしやすいかもしれません。Pod Affinity（ポッド・アフィニティ）という概念は、ごく簡単に言えば「似た条件ならなるべく一緒にしておこう」とKubernetes側で判断する感じです。もちろん厳密に全て一括りになるわけではなくて、七十ノード中どこか数台程度が同じグループになるみたいなケースも普通にあります。これが必ずしも最高効率というよりは、用途次第で便利さが変わる印象です。

また現場によっては、「パフォーマンス向上」だとか「障害時の耐性強化」なんて目的で導入されることもある様子。ただし効果については色々意見が分かれていて、本当に有利なのかどうか断定できない部分も残っていますね。そういう前提を踏まえて、一度自分たちのクラスタで軽く試してみたり、小規模から運用開始する方針もよく聞きます。

さて本題に戻すと、「Pod Affinity」が働いている場合、対象となる複数のポッドがほぼ同じノードだったり、ご近所レベルのトポロジー内で固まる傾向があります。と言っても実際にはラベル付けや条件設定次第なので、一律ではありません。このあたり操作手順はいろんな資料で紹介されているので、それぞれ好みに合わせて調整可能です。

細かな仕様変更なんかもちょこちょこ発生していますし、「絶対的な正解」というより状況ごとの最適解を探していく雰囲気ですね。

うーん、同じ可用性ゾーンっていうのかな、まあ似たような場所でポッドが配置されることがある。これって、頻繁にやり取りする場面ではネットワークの遅延が減るとか、パフォーマンスもそこそこ良くなるらしいよ。なんか最近聞いた話だと、連携して動くマイクロサービスをまとめて近くに置いておけば通信もスムーズになるって言われてるけど、本当にどこまで効くのかは環境によるかもしれないし。まあ、こういう仕組みを活かすことで多少やり取りが快適になる可能性はありそう。でも全部が全部劇的に変わるわけじゃなくて、一部では「思ったほどじゃなかった」って声もちらほらあるみたいだしね。

キャッシュって、たしかアプリのPodとキャッシュ用のPodを同じノードに配置すると、なんかアクセスが速くなることがあるって聞いたことがあった気がする。実際どれくらい変わるかは状況によるけど、七十近い割合で効率化される場合もあれば、大した違いを感じない時もあるらしい。

こういう並び方が意味あるのって、高性能なワークロードを動かす時とか…CPUのキャッシュやメモリの場所的な近さ？そんな要素に恩恵を受けたいケースだったかな。まあ全部じゃないけど、一部の処理では目立つ効果が観察されているみたい。

Pod Affinityという仕組み自体は、ポッド定義のaffinityってフィールドにラベルを元にルールを書くことで成り立ってる。主要なパーツで思い浮かぶのは、「requiredDuringSchedulingIgnoredDuringExecution」というやつ。これは何だろう、スケジューラー側が絶対守らなきゃダメっぽい制約。でも実際には動作中は無視されたりしてる場面もありそう。「preferredDuringSchedulingIgnoredDuringExecution」っていう方はもう少し緩め？守れたらいいなくらいで、ダメでもとりあえず進む印象だったような…。この辺り細かく使い分けてる現場もあるみたいだけど、正直どこまで厳密に適用されているかは環境次第とも言われてた気がする。

「topologyKey」というもの、あれは何かの優先度を決めるために使われているみたいで、例えば「kubernetes.io/hostname」だと同じノード内ってことになるし、「failure-domain.beta.kubernetes.io/zone」とかだったらゾーン単位で区切ったりする。細かい仕様は多少曖昧な部分もあるけど、使い道としては場所を指定して何らかのまとまりを作りたい場面が多いんじゃないかな。

それから、「weight」についてもちょっと触れておくと、「preferredDuringSchedulingIgnoredDuringExecution」に出てくるこの値が大きいほど、その条件へのこだわりというか希望が強まるっぽい。実際の数字で語るよりも、ちょっと強め・弱めくらいのニュアンスで使われる印象。

あと、Pod Affinity の例とか YAML なんだけど——
apiVersion: v1
kind: Pod
metadata:
name: web-app
labels:
app: web
spec:
affinity:
podAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app
operator: In
values:
- backend
topologyKey: "kubernetes.io/hostname"
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 五十くらい（正確には数十）とされていて、実際はそこまで厳密じゃない場合もあるけど……
podAffinityTerm:
labelSelector:
matchExpressions:
- key: app
operator: In
values:
- cache
topologyKey: "topology.kubernetes.io/zone"
containers:
- name: nginx
image: nginx

説明としては、「requiredDuringSchedulingIgnoredDuringExecution」のルールによって、このweb-appというポッドが既に「app=backend」ラベルを持った他のポッドと同じノード上に配置されるようになっているみたい。まあ絶対というより、そうなるよう調整されやすい、と言ったほうが近いかもしれない。
一方で、「preferredDuringSchedulingIgnoredDuringExecution」に書いてあるルールは、「app=cache」のラベルがついたポッドと同じ可用性ゾーン——たぶんクラウド環境によくある区分けだけど——そこで動く可能性が高まるような設定になっている。ただし重みづけは七十にも満たない程度なので、他にも条件次第では別の場所になることもあり得る。

全体的にはこれらの設定を組み合わせて、柔軟に「どこに」「どんな組み合わせで」ポッドを置きたいか微調整できる感じ。ただ現場によって運用方法や価値観も違うので、一概にこれが正解とは言えず、人によって解釈や適用方法に幅が生まれる場面も珍しくない気がする。

ポッドアンチアフィニティって、なんだか名前からして難しそうだけど、まあ簡単に言うと特定のポッド同士をわざと同じノードやゾーンには配置しないように調整する仕組みらしい。どうも七十箇所以上…まではいかないけど、かなり多くのシステムで使われているみたいだ。誰かが「これで障害が起きても全部止まるってことは減る」と話していた気がするけど、それも確実とは限らないのかな。

アプリケーションのレプリカとかを色んなノードへ分散させておくことで、冗長性というか、お守りみたいな役割になることもあるようだ。最近聞いた中では、「高可用性」って言葉が出てきたけど、それも状況次第で効果が違うんじゃないか、と考えてしまう。仮に将来大規模なトラブルが起こったとしても、一部だけ動き続ける可能性を残せる――そんなイメージ。でも本当に全部のケースで上手くいくとは限らなくて、用途によっては他にも工夫が必要になる場合もあるっぽい。

それと、こういう仕組みを入れておけば、大体の場合は一つの故障で全滅ということは避けやすくなる……とも聞いた。ただし、「絶対安全！」というよりは「何割か助かった例もあった」くらいのニュアンスなのかなと感じた。他にも似たような方法はいろいろあって、その一つとして覚えておいて損はないかもしれない。

リソースの取り合い、例えばCPUやGPUがかなり忙しくなるようなアプリケーション同士で、どうも競合が起きることがあるらしい。こういう時は、どちらか一方が思ったより遅くなったりするみたいだ。なので、分散させて動かす工夫が必要になる場合も多い。

それと…重大なサービスをたくさん同じノード（まあサーバーみたいなもの）に置いておくと、不具合が発生した際にその影響が連鎖的に広がってしまう可能性も指摘されている。これを防ぐための方法はいろいろあって、その中でも「フォールトアイソレーション」という考え方を耳にした人もいるかもしれない。全部まとめて一つの場所で管理してしまうと、予想外の問題につながるケースもゼロではない。

Podアンチアフィニティについてなのだけど、「affinity」という設定項目の中で指定されている場合が多い。この部分はPodアフィニティと割と似ている感じ。ただし、「podAntiAffinity」というところで設定するんだったと思う。細かい書き方とかは時期やバージョンによって変わっているようなので、一度調べ直したほうが無難だろう。

ポッドのアンチアフィニティについて、たとえば下記みたいなYAMLがある。まあ、これは「backend」って呼ばれてるポッド同士が一緒のノードに集まらないように工夫してる感じだ。そうすると、どこかのノードが落ちた時でも全部止まっちゃうリスクを減らせることもあるみたい。

実際やろうとすると…まずクラスタ立てないと話にならなくて。マニュアルにもよく出てくるけど、AWS EC2上で動かす方法とか探せば色々書いてある。七十台には遠いけど、それなりに複数ノードいる方が後で便利かな。

で、準備段階としてデモ用ポッドを二つぐらい作っといた方がいいとか聞いたことがある。「backend-pod」と「frontend-pod」って名前付けて、それぞれnginxイメージ使って、とりあえず違う環境（devとかtest）指定しておくパターンだね。こうしとくと、その後のアフィニティ設定試す時も分かりやすいという話を何人かから聞いた気がする。

この二つは、それぞれ別々のノードに入るような指定になってて…それだけじゃ面白くないから、更にもう少し踏み込んで、今度はPod Affinityを活用してみる流れになる場合も多いんじゃないかな。

手順によっては、「pod-affinity.yaml」みたいなファイル名で定義を書いておくらしい。その中身を見ると、「web」ラベル付きデプロイメントを二つぐらい立ち上げて、その時「app: backend」を持つポッドが既に存在するノードだけ選んで配置されるような細工を加えている模様。ただ、この仕組みもうまく働かないケースも無きにしもあらずだから注意した方がいいという声もちらほら…。

つまり、「backend」のポッドと同じ場所（ノード）で「web」の仲間達も動かしたい時なんかには役立つ設定だけど…状況によって結果は変わりそう。一部ユーザーから観察された事例では全然思った通りにならなかった、と言われたりすることもあった。

さて、なんだか手順が四つ目に差し掛かったみたい。まあ、その辺りの話って、たぶんKubernetesの設定ファイルとかをいじる内容だった気がする。具体的な数値は今ここで思い出せないけど、七十以上とかそれよりちょっと少ないくらいの重み付けがされていたような雰囲気だった。

webアプリのデプロイメントについて書いてあったと思うけど、そのマニフェストを保存して適用することになりそう。でもyamlファイル自体はほとんどnginxコンテナが使われていて、まあ普通っぽい。

ところで、「podAntiAffinity」っていう機能…これ、多分同じノードにbackendラベル付き（app: backend）なPodが既に動いてる場合には、webアプリ側はなるべく違うノードで動かすように仕向けるやつだったかな。ただ必ずしも絶対じゃなくて、何となく優先度高めだけど状況によっては例外も起きちゃうこともありそう。

それから、topologyKeyとしてkubernetes.io/hostnameを指定すると、物理的なサーバ単位でスケジューリングをコントロールするようになる感じ…らしい。でも実際どこまで効くかは、その時々で変わる可能性あるので断言しづらい。

まあ要点としては、「web」ってラベル付けされたPodたちは、「backend」ラベル持つPodがすでにいる場所からちょっと離れた位置で配置されやすくなる設定っぽい。ただし絶対ではなくて、大まかにそんな傾向になる程度かなという印象が残った気がする。

これをマニフェストとして適用すると、どうやらfrontend-podが動いているノード以外で新しいポッドが立ち上がるみたいなんですよね。いつもそうなるとは限らないけど、今回はたぶんそんな感じ。

AffinityとかAnti-Affinityって、実際のところ結構役に立つ場合があるスケジューリングのルールだよと聞いたことがあります。全部のケースでバッチリ効くわけじゃない気もするけど、一緒に配置したいポッド同士ならAffinityで通信しやすくなったりして、パフォーマンス良くなることもある…かもしれません。逆にAnti-Affinityだと、同じノード内で固まらずに分散できて、可用性とか耐障害性が若干高まる可能性も。もちろん、「大体このくらい」って話だけど。

トップロジーキー？あれは確か、ルールをどこまで広げて考えるか決めるためのものだったような…。あと、「weight」っていう重み付けみたいな設定もあって、それによってスケジューラーの判断基準に多少優先度をつけたりできるっぽいです。でも、その効果がはっきり出る場面はそこまで多くないとも言われてたかな。

まあ色々細かい条件や例外も絡むから、一概には言えない部分もあるし…うまく使えば便利、くらいの認識でいいと思いますよ。

なんだか最近、Kubernetesクラスタの最適化について話題になることが増えてきた気がする。現場で実際に動いているワークロード向けに工夫していくと、ちょっとしたコツや考え方を押さえておくだけで運用が楽になる場合もあるらしい。全部を完璧に理解しなくても、「これかな？」と思うポイントだけ意識する人もいるみたい。ただ、七十種類近い設定とか細かな部分も存在しているそうで、そこまで細かいところは人によっては調整しないまま進めてしまうことも。まあ、全体としては最適化されたクラスタの構築には役立つと言われることが多いけれど、それでも環境や条件次第な面も残る感じ。