コンテナが異常・再起動を繰り返す

コンテナが起動しているものの、異常な状態や再起動を繰り返している場合があります。以下のコマンドを数回実行し、STATUSUp 期間が一致せず頻繁に変わる場合(Restarting と表示される場合もある)は、そのコンテナが頻繁に再起動されています。

# シングル構成
$ docker ps
# Swarmクラスタ構成(CURRENT STATE が短期間で Shutdown/Failed を繰り返す)
$ docker service ps <SERVICE_NAME>

rabbitmq が再起動を繰り返す

ブラウザでアクセスすると、エンジンとジョブマネージャがともに停止しているエラーが表示される場合があります。

この場合、次のいずれかが考えられます。

  • rabbitmq が正常に動作できていないため、kengine / jobmngrd がともに正常に起動できなくなっている
  • rabbitmq は正常だが、kengine と jobmngrd にそれぞれ問題があって両方とも停止している

kengine や jobmngrd が依存している rabbitmq が正常に動作しているかを先に確認してください。

  • Swarmクラスタ構成: rabbitmq の原因と対処(Mnesia 破損 / Partial partition / Waiting for Mnesia tables / erl_crash / pre_vote など)を参照してください。
  • オンプレシングル構成: 現時点では個別の調査手順を提供していません。問い合わせ前に情報を収集のうえ、サポートへお問い合わせください。

rabbitmq が正常に動作しているようであれば、kengine / jobmngrd コンテナの異常を確認してください。

kengine が再起動を繰り返す

Swarmクラスタ構成

docker ps で kengine の STATUS が頻繁に変わります。/system/info を確認すると kengine のステータスが unknown と表示され engine 毎に変わる一方、/.status では normal と表示されることがあります。

しかしジョブフローを実行するとエラーが発生します。

kengine ログには Message not delivered: NO_ROUTE (312)[AMQPConnector] AMQP connection error: connection closed が記録されることがあります。これは RabbitMQ クラスタの設定が変わってしまい、クラスタ全体が不安定になっている場合に発生します。rabbitmq の原因と対処 を参照してください。

オンプレシングル構成

現時点では個別の調査手順を提供していません。問い合わせ前に情報を収集のうえ、サポートへお問い合わせください。

redis / kompira / nginx / jobmngrd が再起動を繰り返す

  • jobmngrd(オンプレシングル構成): jobmngrd の原因と対処 を参照してください。
  • redis(Swarmクラスタ構成): redis はいずれか 1 ノードで実行されるサービスで、ノード障害時に別ノードへ切り替わります。docker service ps ke2_redisCURRENT STATE が短期間で Shutdown を繰り返す場合は不安定です。redis 名前解決エラー の「Swarmクラスタ構成」の対処を参照してください。
  • 上記以外(redis / kompira / nginx のシングル構成など)については、現時点では個別の調査手順を提供していません。問い合わせ前に情報を収集のうえ、サポートへお問い合わせください。