朝起きて いつものようにブログを執筆しようと思ったらデータベース接続確立エラーと表示されてしまい、何もできなくなってしまいました。
最初は一つのサイトだけかなと思ったのですが、ミックスホスト（mixhost）に乗せているサイトがすべてデータベース接続確立エラーとなっていたので原因はミックスホストにあると判明。
前からトラブルがちょっと多いなと思っていたのですが今回はその比ではありませんでした。
データベース接続確立エラーのその日
12月9日の日曜日がほぼ丸1日データベース接続確立エラーだったんですが、ミックスホストは電話での問い合わせを受けていないのでメールで連絡をしました。
しかし土日祝日はメール返信をしていないので、メールが返ってきたのは次の日の月曜日でした。
一応下記のような業務的なメールは来ていましたが、、、
平素はmixhostをご利用いただき、
誠にありがとうございます。 現在、ご利用中のサーバーにおいて、03:
00時頃よりデータベースサーバーの
障害が発生しており、弊社のエンジニアが復旧作業を行っております。 WordPressサイトにアクセスした際、
データベース接続エラーや
インストール画面が表示されるなどの問題が発生する場合がございますが、
本障害に起因するものとなりますので復旧までお待ちいただけますと幸いです。 長時間に渡る障害でご迷惑をおかけしておりますことをお詫び申し
上げます。
今後ともmixhostをよろしくお願いいたします。
その間何も対応することができず悶々とした日を過ごしてしまいました。
12月9日の日曜日の深夜に復旧するも、データが一週間分なくなっている
なんとか12月9日 日曜日の22時頃に復旧して一安心。と思ったのですが、なんとデータが一週間分消えています。
おかしい。
ミックスホストは関東と関西の2箇所にデータベースセンター持ってるので、どちらかが消えたとしてももう一方が残っているはず。そういったバックアップ機能もミックスホストを選んだ理由の一つだったからです。
それに毎日バックアップをとっているのであれば、一週間前ではなく、二日前のデータでも復旧できるはず。
ミックスホストの公式サイトより
「間違って壊れた方のデータベースの方を復旧してしまったのかな。一週間前のバックアップデータから間違ってサイトに反映させたのかな」と思い、再度問い合わせをしました。
そしたらすごい回答がきました。
平素は当サービスをご利用いただき誠にありがとうございます。
mixhost カスタマーサポートでございます。ご登録メールアドレス宛てにお送りいたしましたメールを
ご確認くださり、ありがとうございます。内容が重複することとなりまことに恐縮ではございますが
この度、問題がないバックアップデータからの復旧を行いましたために
データベースのデータが1週間程前の状態となっております。
ご迷惑をおかけしているところ、重ねてお手数をおかけすることとなり
まことに申し訳ございません。
恐れ入りますが、復旧できかねましたデータ分の記事につきましては
お客様にて改めてお手配くださいますようお願い申しあげます。
！？
意味がわからない。
毎日バックアップとっていたはずでは？！データベースセンターは二箇所あるはずでは！？
これだと公式サイトに書いてある施設やサービスが嘘になる、、、
こういった矛盾や対応のおかしさを感じて、再度問い合わせをすると、
ご連絡が遅くなり誠に申し訳ございません。
弊社のバックアップ体制につきましては、
サーバーが設置されているデータセンターとは別に、
物理的に離れたデータセンター（関東・関西二か所）にも冗長化してバックアップを
取得しておりますが、今回はハードウェア障害から論理的な障害も併発し、
さらにバックアップデータには論理的な障害により破損されたデータが記録されていた為、
復元は困難と判断し、正常である日付まで遡って対応をいたしました。
そのため、12/1頃のデータまで遡って復元をさせていただいた次第でございます 。 お客様には多大なるご迷惑をおかけしましたことを重ねてお詫び申
しあげます。
！？
いやいや答えになっていない。
そもそも論理的な障害って？普通の人でもわかるように説明してほしい。
次の返信は、
平素は当サービスをご利用いただき誠にありがとうございます。
mixhost カスタマーサポートでございます。この度発生いたしました障害につきましては、
サーバーに搭載されているSSDの内、
データベース用に使われていたSSDが故障いたしましたことが原因でございます。 今回のサーバーは2つのSSDを用いてRAID1でミラーリング
をしておりましたが、
両方共故障し、内部のデータが大きく破壊されました。
過去、このような事例はあまり多くなく、非常に稀な事例ではございますが、
外部にバックアップを日別で保管していたことにより、データは過去のものに
ロールバックされましたが、復元することが出来ました。論理的な障害とは、ソフトウェア面での障害となり、
今回のケースにおきましては
データベース内部のデータが破壊され、データの内容が壊滅的なった事から
修復不可能な状態となってしまいました。
（データベースはその複雑な構造から、一度破損すると、通常のファイルの復元
とは異なり、復旧が非常に困難となっております）
なお、ソフトウェア的な障害を引き起こした原因となりますのは、ハードウェアの
故障が原因でございます。お客様には長時間に渡りご迷惑をおかけし、また、
データのロールバックが発生
しましたことを、深くお詫び申しあげます。
なんだって？
両方共同時に故障するなんてありえる？
もちろん可能性としてはゼロじゃないにせよ、本当！？
なんか他の原因がないと両方同時に壊れるとかちょっと理解ができない。
平素は当サービスをご利用いただき誠にありがとうございます。
mixhost カスタマーサポートでございます。>両方とも故障とありますが、
関東と関西のデータセンターが同時に壊れたということですか？
破損したデータがバックアップされていたため、そのデータベースは使用不可となっておりました。
メインの関東のデータセンターで2重化しているデータが破損し、破損した状態で関西のデータセンター
にもバックアップされてしまった という状況でございました。>なぜ同時に壊れたのでしょうか？
偶発的に両方とも破損してしまったという状況でございました。
念の為、サーバーの他の部分に関しましても調査いたしましたが、問題はございませんでした。 >また今後の対策をお聞かせください。
より堅牢性の高いハードウェアへの変更を予定しております。（現時点でも業界の平均水準は満たしております）
また、監視体制の見直しなど少しでもリスクを軽減できる方法がないかを 検討させていただいております。 何卒、ご確認くださいますようお願い申し上げます。
偶然にも両方共破損ｗｗｗｗｗ
絶対違うでしょｗｗｗｗｗ
絶対におかしいと思い、
下記のように質問しました。
どういうことですか？
平素は当サービスをご利用いただき誠にありがとうございます。
mixhost カスタマーサポートでございます。大変お待たせしております。
この度の障害につきましては、想定外の極めて稀な事態でございました。
多大なご迷惑をおかけいたしましたことを深くお詫び申し上げます。 ご指摘の通り、
破損したデータがバックアップされたことに関しましても
重大な問題と捉え、今後は現在の手法に加えて、他のバックアップ方法も
検討いたしております。
安定したサービスをご提供させていただくよう、体制強化に取り組んで
参る所存でございますので、何卒ご容赦賜りますようお願い申し上げます。
平素は当サービスをご利用いただき誠にありがとうございます。
mixhost カスタマーサポートでございます。 ご返信が遅くなりまして申し訳ございません。>
関西のデータセンターも物理的に同時に壊れたということですか？
はい、非常に稀な事象ではございますが、関西のデータセンターも
偶発的に物理的に破損してしまった状況でございました。
今後は対策を徹底し再発防止に取り組んで参る所存でございます。
まとめ
ミックスホストはサイト上に情報だけだったら完璧なサーバーだと思いましたが、思わぬ落とし穴がありました。
２０時間位かけて書いた記事がやっと仕上がったところでこの仕打です。
近々エックスサーバーに引っ越ししようと思います。
コメント