GMOクラウド メンテナンス・障害情報

サポートトップ »  メンテナンス・障害情報 » ALTUS byGMO » 障害情報詳細

ALTUS byGMOの障害情報

2019 . 01 . 02

【障害復旧/GMO CLOUD/ALTUS byGMO】ストレージ障害につきまして

2/1 16:05更新

平素はGMOクラウド ALTUSbyGMOをご利用いただきありがとうございます。
本障害に関して経過観察をおこなっておりましたが再発の予兆もございませんので
本お知らせをもって、復旧とさせていただきます

このたびは、ご迷惑をおかけいたしまして、誠に申し訳ございませんでした。

■発生日時
①2018年12月29日(土)13時35分頃~2018年12月30日(日)01時30分頃
②2018年12月30日(日)22時50分頃~2018年12月31日(月)09時30分頃
③2018年12月31日(月)10時33分頃~2019年01月01日(火)00時40分頃
④2019年01月01日(火)22時50分頃~2019年01月02日(水)14時00分頃
⑤2019年01月02日(水)22時38分頃~2019年01月03日(木)12時24分頃


■対象範囲
GMOクラウド ALTUSサービスでSSDストレージをご利用のお客さま


■障害内容
SSDストレージへの書き込み不可により、ご利用の仮想サーバーにおいて、
全てのサービスがご利用いただけない状態となりました。

・Web閲覧、メール送受信不可
・FTP、データベースへの接続不可
・その他、仮想サーバーに設定されている全てのサービスが利用不可
・シリアルコンソールからのタスク実行不可、遅延を含む不安定な状況


■発生状況
弊社クラウドシステムを構成しておりますSSDストレージシステムにおいて
データの書き込みができない状態が発生したしました。


■発生原因
ストレージシシテムを構成する一部のハードウエア障害

障害発生の原因となりましたノードにつきましては2019年1月5日(土)から6日(日)に
かけてノードの交換作業をおこない、障害原因箇所の除去は完了しております。
また、2019年2月1日(金)時点でのSSDストレージシステムの状況につきましては、
出力されておりますイベントログの内容からも正常な状態であると判断しております。


このたび、年末年始において5回にわたり障害が発生し、お客さまには
多大なるご迷惑をおかけいたしましたこと重ねて深くおわび申し上げます。
お客さまへの情報共有、ならびに復旧までにお時間を要した点につきましては、
弊社からの調査依頼方法の見直しや、スムーズな調査結果の報告がおこなえるよう
ストレージベンダーと協同で改善を実施させていただき、速やかに問題解決を
おこなう体制構築に努めて参ります。
-----------------------
1/31 18:28更新

お客さま各位

平素はGMOクラウド ALTUS by GMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も引き続き調査中でございます。
復旧までお待ちいただきますようお願い申し上げます。
------------------------
1/30 18:30更新

お客さま各位

平素はGMOクラウド ALTUS by GMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も引き続き調査中でございます。
復旧までお待ちいただきますようお願い申し上げます。
------------------------
1/29 18:43更新

お客さま各位

平素はGMOクラウド ALTUS by GMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も引き続き調査中でございます。
復旧までお待ちいただきますようお願い申し上げます。
------------------------
1/25 19:09更新

お客さま各位

平素はGMOクラウド ALTUS by GMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も引き続き調査中でございます。
復旧までお待ちいただきますようお願い申し上げます。
------------------------
1/24 18:23更新

お客さま各位

平素はGMOクラウド ALTUS by GMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も引き続き調査中でございます。
復旧までお待ちいただきますようお願い申し上げます。
------------------------
1/22 19:20更新

お客さま各位

平素はGMOクラウド ALTUS by GMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も引き続き調査中でございます。
復旧までお待ちいただきますようお願い申し上げます。
------------------------
1/21 19:26更新

お客さま各位

平素はGMOクラウド ALTUS by GMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も引き続き調査中でございます。
復旧までお待ちいただきますようお願い申し上げます。
------------------------
1/18 19:16更新

お客さま各位

平素はGMOクラウド ALTUS by GMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も引き続き調査中でございます。
復旧までお待ちいただきますようお願い申し上げます。
------------------------
1/17 18:02更新

お客さま各位

平素はGMOクラウド ALTUS by GMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も引き続き調査中でございます。
復旧までお待ちいただきますようお願い申し上げます。
------------------------
1/16 19:06更新

お客さま各位

平素はGMOクラウド ALTUS byGMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。

根本原因につきましては継続して調査中でございますが
以下の対応を実施することで再発防止をおこなっております。

・ストレージシステム全体のガベージコレクション自動タスクの常時監視
・新しいノード追加、ならびにノード13の交換作業の実施

2019年1月16日(水)19時時点でのSSDストレージシステム状況につきましては、
ガベージコレクションの処理は正常な状態に戻っており、出力されております
ログの内容からも正常な状況であると判断しております。
ガベージコレクションの自動タスクの常時監視に加え、日時で処理状況を
監視しておりますが、良好な状態であり現象が再現する兆しはございません。

調査内容につきましては、以下の2点の可能性を想定して実施しております。

調査内容①
SSDストレージシステムのオペレーティングシステムにおいて潜在的に
不具合が発生していないか調査をおこなっております。

調査内容②
ノード13のハードウエア障害により、CPUリソースが不足したことで
ノードが本来の処理能力を発揮できていない状況が発生していた可能性がございます。
CPUのbusy状態が継続し、ノード13内の処理全体の中において、ガベージコレクションが
失敗してしまったと推察しております。

原因究明にお時間が要してしまい誠に申し訳ございません。
------------------------
1/15 18:35 更新

お客さま各位

平素はGMOクラウド ALTUS by GMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も引き続き調査中でございます。
復旧までお待ちいただきますようお願い申し上げます。

------------------------------------------------------------
1/11 18:20 更新

お客さま各位

平素はGMOクラウド ALTUS by GMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も引き続き調査中でございます。
復旧までお待ちいただきますようお願い申し上げます。

------------------------------------------------------------
1/10 23:00 更新

お客さま各位

平素はGMOクラウド ALTUS by GMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も引き続き調査中でございます。
復旧までお待ちいただきますようお願い申し上げます。

------------------------------------------------------------
1/9 17:51 更新

お客さま各位

平素はGMOクラウド ALTUS by GMOをご利用いただきありがとうございます。
ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も調査中の段階であり、報告内容が変更される
可能性がございます。あらかじめご了承ください。

1.発生日時※
①2018年12月29日(土)13時35分頃~2018年12月30日(土)01時30分頃
②2018年12月30日(日) 22時50分頃~2018年12月31日(月)02時45分頃
③2018年12月31日(月)10時33分頃~2019年01月01日(火)00時40分頃
④2019年01月01日(火)22時50分頃~2019年01月02日(水)14時00分頃
⑤2019年01月02日(水)22時38分頃~2019年01月03日(木)12時24分頃

※終了時刻は弊社にて仮想サーバーの再起動メンテナンスが終了した時刻を記載しております。

2.影響について
ご利用のストレージへの書き込み不可により、ご利用の仮想サーバーに
おいて、全てのサービスがご利用できない状態となりました。

・Web閲覧、メール送受信不可
・FTP、データベースへの接続不可
・その他、仮想サーバーに設定されている全てのサービスの利用不可
・シリアルコンソールからのタスク実行不可、遅延を含む不安定な状況

3.状況および原因について
SSDストレージシステムに設定されております、閾値設定に不具合が発生したことにより、
ストレージ容量の空きが十分にある状態でございましたが、システム側の不具合により
ストレージへのデータ書き込みができない状態となってしまいました。
原因の特定、ならびエラー解消に向けて調査・対応をするなかで、ストレージシステムを
構成している一部のノード(以降ノード13)において定期的に自動実行されているはずの
ディスク容量確保のための自動実行タスク(以降ガベージコレクション)の失敗していたことにより、
ノード13のSSDディスクの容量が肥大化したことで、全体の容量が逼迫したと誤判定をし、
ストレージシステム全体への書き込みができない現象が発生したことを検知しました。

該当ドライブを収容しているノード13全体に対し、手動でガベージコレクションを
実行したことにより、SSDストレージシステムへの書き込みが可能な状態となりました。

本件の根本原因であるガベージコレクションの自動実行タスクの失敗によるSSDディスクの容量肥大化、
並びにストレージシステム全体の容量が逼迫したと誤判定されたことについては引き続き調査中でございます。

4.現在の対応について
上述させていただきましたとおり、根本原因につきましては継続して
調査中でございますため、以下の対応を実施することで再発を防止しております。

・SSDストレージシステムの新規利用の停止
・ストレージシステム全体のガベージコレクション自動タスクの常時監視

原因が判明次第改めて対応策についてご報告させていただきます。

このたびはSSDストレージシステムの不具合によりご迷惑をおかけいたしましたこと
深くおわび申し上げます。

------------------------------------------------

1/4 11:40 更新
お客さま各位

平素はALTUSbyGMOをご利用いただきありがとうございます。
ご迷惑をおかけいたしまして、誠に申し訳ございません。

本障害について、サーバーへの接続不具合は解消していますが、
ストレージシステム静観中につき引き続き仮復旧とさせていただきます。

復旧完了時には、再度本障害情報を更新いたしますので、
大変恐縮ではございますが、復旧までお待ちいただきますようお願い申し上げます。
------------------------------------------------
1/3 12:30 更新
お客さま各位

平素はALTUS byGMOをご利用いただきありがとうございます。
ご迷惑をおかけいたしまして、誠に申し訳ございません。

10:00より実施しておりました再起動メンテナンス作業が完了いたしました。

大変恐縮ではございますが、不具合が継続しているお客さまにつきましては、
下記お問い合わせフォームより別途お問い合わせいただければと存じます。

■お問い合わせ

ご迷惑をおかけいたしまして、誠に申し訳ございませんでした。
1/3 09:20 更新
お客さま各位

平素はALTUSbyGMOをご利用いただきありがとうございます。

ご迷惑をおかけいたしまして、誠に申し訳ございません。
現在発生中の障害につきまして経過をご報告させていただきます。
ストレージのI/O(入出力)アクセスが復旧いたしました。
AM10時より仮想サーバーの再起動メンテナンスを実施させていただきます。

【GMO CLOUD/Public】緊急メンテナンス実施のお知らせ

障害の経過報告につきましては、別途メールにてご連絡させていただいております。

大変恐縮ではございますが、復旧までお待ちいただきますようお願い申し上げます。
----------------------------------------------------------------------------------------
1/3 7:25更新

お客さま各位

平素はGMOクラウドALTUSbyGMOをご利用いただきありがとうございます。

ご迷惑をおかけいたしまして、誠に申し訳ございません。
現在発生中の障害につきまして経過をご報告させていただきます。

ストレージベンダーにて実施しておりましたメンテナンスにより、
I/O(入出力)アクセスに復旧が見られ、7時30分頃に復旧予定となりますので、
改めて緊急の仮想サーバーの再起動メンテナンスを実施させていただきます。
※緊急メンテナンスにつきましては、別途メールにてご連絡させていただきます。

復旧完了時には、再度本障害情報を更新いたします。
大変恐縮ではございますが、復旧までお待ちいただきますようお願い申し上げます。
----------------------------------------------------------------------------------------
1/3 3:05更新
お客さま各位

平素はGMOクラウド ALTUSbyGMOをご利用いただきありがとうございます。

ストレージベンダーより、I/Oを停止する設定を一旦見送る旨連絡が
ございました。状況がわかり次第改めてご連絡させていただきます。

大変恐縮ではございますが、復旧までお待ちいただきますようお願い申し上げます。
年末年始このような事態となってしまい誠に申し訳ございません。重ねて深くお詫び申し上げます。
----------------------------------------------------------------------------------------
1/3 2:40更新
お客さま各位

平素はGMOクラウド ALTUSbyGMOをご利用いただきありがとうございます。

ストレージベンダーと電話会議をおこないI/Oを停止する設定を
2時15分より作業実施とする回答を得ております。
作業実施後、30分程度でストレージの書き込みが可能になり
の後再起動メンテナンスを実施する予定となります。

大変恐縮ではございますが、復旧までお待ちいただきますようお願い申し上げます。
年末年始このような事態となってしまい誠に申し訳ございません。重ねて深くお詫び申し上げます。
----------------------------------------------------------------------------------------
1/3 1:30 更新
お客さま各位

平素はGMOクラウド ALTUSbyGMOをご利用いただきありがとうございます。

ご迷惑をおかけいたしまして、誠に申し訳ございません。
現在発生中の障害につきまして経過をご報告させていただきます。
22時38分にストレージの書き込みが不可能になった原因でございますが
復旧作業の一環で実施させていただきました、ストレージ側の容量が
超過した場合にI/Oを停止する設定を一時的に無効にしておりました。
しかしながら1月2日(水)の22時頃にストレージベンダーのエンジニア側で
再度、I/Oを停止する設定を有効にしてしまったことによりストレージの書き込みが
出来ない状態となりました。現在ストレージベンダーと電話会議をおこない
I/Oを停止する設定を変更する作業を早急におこなうよう指示しております。

大変恐縮ではございますが、復旧までお待ちいただきますようお願い申し上げます。
年末年始このような事態となってしまい誠に申し訳ございません。重ねて深くお詫び申し上げます。
-------------------------------------------------------------------------------------
お客さま各位

平素はALTUSbyGMO
をご利用いただきありがとうございます。

ご迷惑をおかけいたしまして、誠に申し訳ございません。
ALTUSのサービスにおいて、以下の不具合が発生しております。

■障害発生日時
2019年1月2日(水) 22時38分頃

■障害内容
サーバーへの接続不可および不安定な状況。
コンソールからのタスク実行不可、または不安定な状況が発生しております。

下記障害が再発しております。

○【発生中/GMO CLOUD/Public】ストレージ障害につきまして
https://support.gmocloud.com/info/detail.php?no=1546354758
○【発生中/GMO CLOUD/ALTUS byGMO】ストレージ障害につきまして
https://support.gmocloud.com/info/detail.php?no=1546354797

■対象範囲
・ALTUS Basic、ならびにIsolateにてフラッシュディスクをご利用のお客さま


■原因
ストレージ不具合


障害に関するお問い合わせは jp_support@gmocloud.com までお願いいたします。
ご迷惑をおかけいたしまして、誠に申し訳ございません。
深くおわび申し上げます。