2018年11月29日発生のINST Voiceの障害に関して
INST石野です。
本日、久しぶりに影響範囲の大きな障害を出してしまいましてご迷惑をおかけいたしました。
既に復旧はしておりますが、自戒の念も込めまして下記に障害報告をさせていただきます。
1.障害概要
INST Voiceにおいて、下記の障害が発生
・INST Voiceの管理画面、APIすべての機能が停止
2.発生期間
2018年11月29日(木)9:00-9:29
3.対象
INST Voiceの全ユーザー企業
発生期間内のAPIリクエストおよび管理画面へのアクセスが全て無効になっております
※当社側サーバーでリクエスト受付およびログイン履歴確認が出来ませんためリクエスト元にてご確認をお願いいたします
4.原因
◆SSL証明書の更新漏れ現在、A:旧管理画面(voice.inst-inc.com)、B:新管理画面(voice2.inst-inc.com)、C:APIサーバーを運用しており、AとCのSSL証明書が更新されておりませんでした
5.対応
A、CのSSL証明書の更新により復旧
6.対応経緯
11/29
9:00 エラー検知システムにより稼働していないことを検知※8:59までは正常稼働が確認済み
9:06 技術担当により稼働異常が発生していることを確認
9:13 該当するお客様に連絡を開始
9:19 原因を究明、SSL証明書更新作業開始
9:27 該当するお客様に連絡が完了
9:29 SSL証明書更新作業終了、稼働状況確認開始(この時点で復旧)
9:35 稼働状況確認終了
9:41 復旧の連絡開始
9:43 復旧の連絡終了
7.再発防止策
◆SSL証明書更新作業のリマインド徹底
該当するサービス担当の者のみがSSL証明書の更新時期を把握しており、実施をいたしましたが対応漏れがございました。すべてのSSL証明書の更新、利用中のクラウドサーバーメンテナンス、ドメイン更新などのスケジュールを社員全員にてスケジュール登録(リマインダ付き)で徹底いたします(済み)
◆更新範囲の書き出し及びWチェック
更新が影響する範囲のリスト書き出しを行い、技術担当3名全員および代表にてチェック実施を徹底いたします。
8.謝罪
今回、不具合発生時間に送っていただいたAPIリクエストに関しては受付ができておりません。お手数ですがご確認の上再送の必要がございましたらご連絡のほどよろしくお願いいたします。
本不具合の発生に伴いまして、恐縮ではございますが稼働時間などを加味させていただき11月分のINST Voiceご利用費用をすべてのお客様で一律5%お値引きとさせていただきます。
この度はご迷惑をお掛けいたしまして、誠に申し訳ございませんでした。
株式会社INST 代表取締役 石野幸助