クラウドコンピューティングと負荷分散ソリューションLVS 第1回: LVSのアーキテクチャ

LVSクラスタ

LVSクラスタはディレクターと実サーバで構成されていて、クライアントがアクセスする対象となります。ディレクターは、1台のみ場合もあれば、2台のディレクターをマスター/スタンバイ構成で稼動させる場合もあります。
後者の場合は、2台の間で接続を同期させておくのが一般的です。そうしておけば、アクティブなディレクターがマスターからスタンバイに切り替わるというフェイルオーバーが発生したときにも、それまでの接続を続行できます。
実サーバは少なくとも1台は必要です。ディレクターが実サーバを兼任するような構成も可能ですが、複数の実サーバを個別に用意する方が一般的です。こうすれば、IPVSの負荷分散の仕組みを利用して、サービスの拡大や縮小が簡単になります。

高レベルな監視とは次の2つの処理を表し、どちらもユーザー空間で行われます(設定されている場合)。

1. 実サーバの監視

ヘルスチェックやその他のパラメーターを使って、実サーバの可用性を動的に判断し、必要に応じて仮想サービスに実サーバを追加したり削除したりします。

ディレクターの監視

各ディレクターで障害が発生していないかどうかを確認して、アクティブなディレクターからスタンバイのディレクターへのフェイルオーバーを必要に応じて実施します。フェイルオーバーとはアクティブなディレクターを変更することで、通常はVIPを別のディレクターに切り替えることになります。
高レベルな監視にはさまざまな実装があります。よく使われているのは、1つはkeepalived、もう1つはldirectordとlinux-haの組み合わせです。

• keepalivedは比較的軽量な手法です。
  さまざまなプロトコルに応じた実サーバのヘルスチェックが組み込まれており、IPVSの設定を必要に応じて更新します。
  ディレクターの監視とフェイルオーバーの実装にはRFC 5798のVRRPが使われています。
• ldirectordはlinux-ha用のモジュールです。
  ldirectord自体は、実サーバのヘルスチェックを実装し、IPVSの設定を適切に更新します。
  ディレクターの監視とフェイルオーバーはlinux-haが処理します。linux-haは豊富な機能を備えた高可用性スタックで、独自のハートビートプロトコルとクラスタメンバーシップアルゴリズムを実装しています。

以前のIPVSは、ネットワーク(レイヤ3)プロトコルにIPv4のみをサポートしていましたが、現在ではIPv6もサポートしています。
IPv6のサポートの追加にあたっては、実装に関して次のような問題がありました。

ネットワークプロトコルのモジュール化の欠如

それまでネットワークプロトコルとしてIPv4のみをサポートしていたため、コードがモジュール化されていませんでした。
しかも、大半のコードはモジュール化が簡単ではありませんでした。
IPv4とIPv6以外のネットワークプロトコルをサポートする計画はないことから、解決策としては、必要に応じてヘルパー関数とラッパー関数を用意し、それ以外はifステートメントのブロックを使ってそれぞれのプロトコルに応じたコードパスを個別に実装するという方法をとりました。

条件付きビルド

IPv6に関するコードはすべて、CONFIG_IP_VS_IPV6で区別する必要があります。
これは、カーネルにIPv6をコンパイルしていない組み込みシステムなどでサイズを抑えるためです。
このことと、モジュール型でない手法でネットワークプロトコルを実装したことに伴い、現在のIPVSのコードには、CONFIG_IP_VS_IPV6による条件分岐がさまざまな場所にあります。

sysctlインターフェイス

sysctlのユーザー空間/カーネルインターフェイスはIPv4のみをサポートしており、下位互換性のあるやり方で拡張することができません。
現在ではsysctlインターフェイスよりもnetlinkプロトコルが好まれることから、netlinkプロトコルが開発され、sysctlインターフェイスは非推奨となりました。

接続の同期

以前の同期プロトコルは、32ビットのアドレス用の領域しか確保していなかったため、IPv4のみをサポートしていました。
この問題は、IPVSにIPv6のサポートを追加する中で、32ビットと128ビットの両方のアドレスに対応した新しい同期プロトコルを実装することで解決されました。新しい同期プロトコルの詳細については、次回の「主な機能概要」で解説します。

フック

既に述べたように、IPVSはnetfilterのフックを使ってLinuxのネットワークスタックからパケットを受信します。
IPVSにIPv6のサポートを実装するにあたっては、既に登録しているIPv4のフックに加えて、対応するIPv6のフックを登録する必要がありました。

ソースコードの再配置

IPVSのソースコードは、アップストリームのカーネルツリーへの統合以降、IPv6のサポートを追加する前までは、net/ipv4/ipvs/にありました。
しかしIPv6に対応すると、この場所は直感的にわかりにくくなるため、IPv6のサポートを追加するための準備として、現在の場所であるnet/netfilter/ipvs/に移されました。

IPVSは、トランスポート(レイヤ4)プロトコルのサポートをモジュール方式で追加できるフレームワークを備えています。
現在IPVSがサポートしているトランスポートプロトコルは次のとおりです。

• AH(Authentication Header)
• ESP(Encapsulation Security Protocol)
• SCTP
• TCP
• UDP

トランスポートプロトコルのサポートはモジュール方式で実装されているため、新しいトランスポートプロトコルを追加する場合でも、IPVSの中核部分やトランスポート以外のプロトコルの部分に変更を加える必要はありません。通常、各トランスポートプロトコルは、それぞれ別個のファイルとして、ip_vs_proto_＜プロトコル名＞.cという名前で実装されています。
ただし、AHとESPについては、実装が共通する部分が多く、コードの大半を共用できるため、ip_vs_proto_ah_esp.cという1つのファイルになっています。
トランスポートプロトコルはip_vs_protocol構造体のインスタンスとして実装されています。この中には、データとコールバックの両方のメンバが含まれています。
データでは、名前、プロトコル番号、プロトコルの状態の値、およびデフラグメンテーションを認めるかどうかが定義されています。
コールバックではプロトコルの動作が定義されています。たとえば新しい接続のスケジューリングです。これは一般に、IPVSのコア部分のコードが提供するip_vs_schedule()関数のラッパーとして実装されています。

IPVSでは接続を粒度として負荷分散が実装されています。接続とは、TCPとSCTPの場合は、それぞれのプロトコルで定義されている接続を表します。
UDPの場合は、一連のデータグラムの送信元と送信先のアドレスおよびポートが同じときに、そのストリームを接続とみなします。この動作はワンパケットスケジューリングを使うことで変更できます。詳細については、この文書の「主な機能概要」のセクションで説明します。

デフォルトでは、IPVSサービスは接続に持続性がないものとして扱います。つまり、新しい接続のたびに実サーバが選択されます。同じ送信元ホストからの最近の接続がどうであったかは考慮されません。しかし、接続が持続的となるようにサービスを設定している場合には、一定の時間内に同じホストから受けた接続は、同じ実サーバに転送されます。持続性の動作の詳細については、次回の「主な機能概要」で解説します。

通常のIP通信と同様に、接続はパケットで構成されています。以下、パケットの処理の流れ(IPVSによる接続の処理の流れ)を簡単に説明します。

1. サービスに対するパケットを受信したIPVSは、自らのサービスへのパケットかどうかをチェックします。
   該当しないパケットは、通常のパケット処理の対象として、Linuxのネットワークスタックに返します。
2. チェックに該当したパケットはIPVSの処理対象です。接続ハッシュをルックアップし、既存の接続に属するパケットかどうかを確認します。
   該当する場合は、接続ハッシュで見つけたエントリに従いパケットを転送します。
3. 既存の接続に該当しない場合は、新しい接続のパケットです。
   新しい接続を処理する実サーバの選択を行います。この処理のことをスケジューリングといいます。

(i.) 持続性がある仮想サービスの場合は、接続ハッシュのルックアップを行って、持続性テンプレートというエントリが存在するかどうかを確認します。
これは同じクライアントから最近接続があったかどうかのチェックに相当します。

最近接続があった場合は、テンプレートに基づいて接続ハッシュに接続エントリを挿入します。つまり、同じクライアントからの最近の接続を処理したのと同じ実サーバを今回の接続にも使うことになります。そして、パケットはこの実サーバに転送されます。

(ii.)　上記に該当しない場合は、仮想サービスに持続性がないか、同じクライアントからの最近の接続がないかのどちらかです。
この場合は、対象の仮想サービスに対応する実サーバのプールの中から、実サーバを選択します。実サーバの選択に使うアルゴリズムのことをスケジューリングアルゴリズムといいます。
実サーバを選択したら、接続ハッシュに接続エントリを挿入し、パケットはこの実サーバに転送されます。