コンテナが異常・再起動を繰り返す
コンテナが起動しているものの、異常な状態や再起動を繰り返している場合があります。以下のコマンドを数回実行し、STATUS の Up
期間が一致せず頻繁に変わる場合(Restarting と表示される場合もある)は、そのコンテナが頻繁に再起動されています。
# シングル構成
$ docker ps
# Swarmクラスタ構成(CURRENT STATE が短期間で Shutdown/Failed を繰り返す)
$ docker service ps <SERVICE_NAME>
rabbitmq が再起動を繰り返す
ブラウザでアクセスすると、エンジンとジョブマネージャがともに停止しているエラーが表示される場合があります。
この場合、次のいずれかが考えられます。
- rabbitmq が正常に動作できていないため、kengine / jobmngrd がともに正常に起動できなくなっている
- rabbitmq は正常だが、kengine と jobmngrd にそれぞれ問題があって両方とも停止している
kengine や jobmngrd が依存している rabbitmq が正常に動作しているかを先に確認してください。
- Swarmクラスタ構成: rabbitmq の原因と対処(Mnesia 破損 / Partial partition / Waiting for Mnesia tables / erl_crash / pre_vote など)を参照してください。
- オンプレシングル構成: 現時点では個別の調査手順を提供していません。問い合わせ前に情報を収集のうえ、サポートへお問い合わせください。
rabbitmq が正常に動作しているようであれば、kengine / jobmngrd コンテナの異常を確認してください。
kengine が再起動を繰り返す
Swarmクラスタ構成
docker ps で kengine の STATUS が頻繁に変わります。/system/info を確認すると kengine のステータスが
unknown と表示され engine 毎に変わる一方、/.status では normal と表示されることがあります。
しかしジョブフローを実行するとエラーが発生します。
kengine ログには Message not delivered: NO_ROUTE (312) や
[AMQPConnector] AMQP connection error: connection closed が記録されることがあります。これは
RabbitMQ
クラスタの設定が変わってしまい、クラスタ全体が不安定になっている場合に発生します。rabbitmq の原因と対処
を参照してください。
オンプレシングル構成
現時点では個別の調査手順を提供していません。問い合わせ前に情報を収集のうえ、サポートへお問い合わせください。
redis / kompira / nginx / jobmngrd が再起動を繰り返す
- jobmngrd(オンプレシングル構成): jobmngrd の原因と対処 を参照してください。
- redis(Swarmクラスタ構成): redis はいずれか 1
ノードで実行されるサービスで、ノード障害時に別ノードへ切り替わります。
docker service ps ke2_redisでCURRENT STATEが短期間でShutdownを繰り返す場合は不安定です。redis 名前解決エラー の「Swarmクラスタ構成」の対処を参照してください。 - 上記以外(redis / kompira / nginx のシングル構成など)については、現時点では個別の調査手順を提供していません。問い合わせ前に情報を収集のうえ、サポートへお問い合わせください。