【サーバー接続障害途中経過のご報告および今後の対策について】

平素は格別のご高配を賜り誠にありがとうございます。
オビタスター株式会社です。

━━━━━━━━━━━━━━━━━━━━━━
　　　サーバー接続障害途中経過のご報告
━━━━━━━━━━━━━━━━━━━━━━

2011年11月29日より弊社内全てのサーバーにおきまして、
WEB閲覧等が行えないなどサーバーにアクセスのしづらい状況にございました。

現在までに判明いたしました原因を、以下詳細にてご連絡させて頂きます。

[対象サーバー]
弊社サービスのサーバー全てお客様

[障害発生日時]
・11月29日〜不定期に一時的にアクセスしづらい状況

[障害状況]
サーバの接続が不安定な状態。
・Web閲覧不可
・メール送受信不可

[障害原因]
・弊社内ネットワークの異常な高負荷

[障害原因詳細]
・Googleなど多くの検索エンジンのIPv6などへの急激で異常なアクセス増加
・複数のサーバーへのハッキングによる総当りアタックによる異常なトラフィック増加
・年末に向け、メルマガ配信を行うサイトが急激に増加したため、サーバー側からの急激なトラフィック増加
・何件かの報告により、11/29、11/30、12/1などにサイトをリニューアルオープン、新規オープンのサイトがあったための、アクセス数、FTPなどによる負荷の増加
・一部のサーバーの高負荷状態によるネットワークの負荷増加
・上記いくつかの事例によるネームサーバーなど共有物への負荷増加
など。

[障害対策]
今回の障害に対する対策としまして、下記作業を今まで行わせていただきました。
・原因切り分けのため、1台ずつのサーバーを停止、ネットワークの負荷監視作業の繰り返し。
・全てのサーバーのセキュリティバージョンアップ作業
・全てのサーバーの再起動。こちらは安定稼動していたため、450日以上再起動なしで動作しているサーバーも複数台ありましたが、障害切り分け、障害対策として、全てのサーバーの再起動を行わせていただきました。
・ネットワーク機器の全ての再起動
・回線全ての再設定・再起動
・ネットワークの再設定。一から見直し、全ての構成を見直させていただきました。
・ネットワーク機器による負荷監視体制を新たに追加構築しました
・ネットワーク機器全ての入れ替え作業、およびLANケーブルの入れ替え作業
・一時的に高負荷のあったサーバーのアクセスを5分間制限し、全体への負荷を軽減する設定追加

[現状]
上記の作業を行ったことにより、現状、ネットワークの負荷はかなり落ち、落ち着いた状況となっております。
ただし、過去の例により、ネットワークのトラフィックが急激に上昇するのは、19時頃より2時前後ということが分かっておりますので、まだまだできる対策をと考えております。
また、今回は、さまざまな要因が複雑に同時に絡まった大規模なネットワークへの負荷のため、弊社でも複数回線や、複数機器によるバックアップ体制などを行っておりましたが、それら全てに対する負荷であったため、対策に時間がかかってしまいました。
一時的な対策を急ぎ行わせていただくと同時に、今後の対策もあわせて行わせていく形とさせていただきました。

[今後の対策]
・全てのサーバーに対し、順番にウィルス・スパム検査を行わせていただき、ハッキングされたサイト、攻撃されているサーバーなどがないかどうか確認していきます。
上記は時間がかかりますが、順次行わせていただき、この調査の際は、検査の行っているサーバー自体の負荷は上がりますが、ネットワークへの負荷はあがりません。
また、この間は、そちらのサーバーへのアクセスができないなどはございませんので、ご安心していただき、そのままご利用が可能ですが、他の要因での高負荷と重なってしまった場合などは、サーバー自体の負荷により、サーバーが遅くなり、アクセスしづらい状況になる場合がございます。

・海外のブラックリストIPなどによる攻撃のあったサーバーについて調査を行っていきます。
こちらは複数台、海外のブラックリストIPからの攻撃を確認しておりますので、更なる調査を行っていきます。
また、ブラックリストIPを拒否するような構成についても現在対策中になります。

・高負荷の原因となるメルマガ機能などに対する対策を検討していきます。

・回線、およびネットワーク機器の増加
こちらは現在新規回線、機材を発注しており、15日前後にバックアップ回線増加工事を行う予定となっております。
こちらに伴う、設定の変更や、サーバーの停止はございませんので、ご安心ください。
迂回路などを増加し、ネットワーク全体の負荷を軽減させていきます。

現状、このような状況であり、多くの皆様にご協力をいただくことにより、順次作業を進めさせていただいております。
もっともっと安定した利用しやすい状況のために、考え付くことで実現可能なところより、進めさせていただきたいと思いますので、何卒、よろしくお願いいたします。

お客さまには大変なご迷惑、ご不便をお掛けしておりますこと、
深くお詫び申し上げます。

今後とも、オビタスターを、何卒よろしくお願いいたします。