rakumoカレンダー
2021年5月6日〜12日に発生した障害に関するお詫びとご報告

rakumoカレンダー
2021年5月6日〜12日に発生した障害に関するお詫びとご報告

ご担当者各位

平素は、rakumo サービス をご利用いただき、誠にありがとうございます。
rakumo サポート担当でございます。

この度は rakumo カレンダーをご利用いただけない状態が発生したことにより、多大なご迷惑をおかけいたしましたことを深くお詫び申し上げます。
5月に発生した障害の詳細と再発防止策に関しまして、次の通りご報告を申し上げます。
ご報告が遅くなりまして誠に申し訳ございません。

障害の詳細情報

発生日時

2021年5月6日 (木) 午前 8時30分頃 〜 5月12日(水) 午前 2時20分頃
※ 5月7日以降は、ご利用のピークタイム時間帯 朝 9時前後でのみ発生しておりました。

サービス

Google Workspace 版 rakumo カレンダー

内容

rakumo カレンダーで予定を取得できない事象や、予定を登録できない事象が頻発しておりました。

原因

API を使用した Google カレンダーへの接続上限値の仕様変更が予告なく行われ、
弊社が必要とする接続数を大幅に下回る値に変更されたため、本事象が発生いたしました。

rakumo カレンダーでは、予定の閲覧や編集をするために、Google Calendar API を使用しております。この API には接続数の制限があるため、従来より、利用者数とアクセス数の増加状況を注視し、適宜接続上限値を増加する申請を行う運用をしておりました。
今回、日次の接続上限値の増加を申請したところ、事前の連絡なく、1) 日次から毎分単位の制限に変更され、2) 設定値も、1日の上限値を単純計算で毎分平均に均したものに変更されました。

予定を参照・管理するアプリケーションの特性上、1日のうち、アクセスの集中する時間帯、集中しない時間帯、ほとんどアクセスのない時間帯がそれぞれ存在しますが、このような時間帯ごとの利用状況の差は考慮されず、毎分単位の制限、接続上限値に変更されました。このため、特にアクセスの集中する時間帯において、設定された毎分単位の接続上限値が、rakumo カレンダーの現在の必要数に満たないものとなっておりました。

障害の経過と対応

・2021年4月28日 9:00 頃:
Google 社へ日単位での API 接続上限値の増加リクエストを申請

・2021年5月4日 22:00 頃:
Google 社 より、分単位の上限値増加 として申請を受理・適用した連絡を受領

・2021年5月5日 1:00 ~ 11:00頃:
弊社 より Google 社 に以下を質問・申請

  • API 接続上限値の Quota が per-day → per-minute に変わっているが、仕様が変わったのか
  • 変更された分単位の上限値 ではピークタイムのアクセスを捌ききれないため、1回目の分単位での API 接続上限値の増加をリクエスト

・2021年5月5日 20:58:
上記返答がないため、改めて回答をリクエスト。確認中である以外の応答無し

・2021年5月6日 8:30:
障害発生。ご利用のお客様から 「rakumo カレンダーで、予定が取得できない」との問い合わせを多数受領
※ 8:45 ~ 9:15 のエラーの割合は 35% でした。午前中は 20~30%、午後は 10~20% の高い割合でエラーが継続しました。

・2021年5月6日 10:00頃:
サポートより一次アナウンス
▶️ rakumoカレンダー :予定を取得できない事象が発生
(以後、13:50, 18:50 に経過報告)

・2021年5月7日 7:00 頃:
Google 社 より、分単位での1回目の API の接続上限値の増加リクエストが承認され、接続上限値が増加
※ 1回目の接続上限値の増加により、ピークタイム時間帯(朝 9 時前後)のエラー割合が 0.3 % まで減少しました。また、以降の時間帯は0%に沈静化しました。

・2021年5月7日 10:30頃:
サポートより一部復旧のアナウンス

・2021年5月7日 15:21 頃:
週明けの月曜日に更なるご利用の集中が予想されるため、 Google 社 へ 2回目の分単位での API 接続上限値の増加リクエストを申請

・2021年5月7日9:30 頃〜 5月12日 2:20 頃:
ピークタイム時間帯において引き続きの障害発生。ピークタイム時間帯以外の時間帯においては平常通りご利用いただける状態を維持
※ ピークタイム時間帯においては 0.5 〜 10 % の割合で事象が引き続き発生しておりました。

・2021年5月12日 2:20 頃:
Google 社 より、2回目の 分単位でのAPI 接続上限値の増加リクエストが承認され、接続上限値が増加

・2021年5月12日 11:00 頃:
2回目の接続上限値の増加により、ピークタイム時間帯においても事象が発生しなくなったことを確認できたため、弊社サポートより、復旧した旨のご案内を送信・掲載

再発防止策と今後の対策について

本日 6月 22 日までに、以下 の対応を実施しております。

[1] 毎分単位の制限を必要数を上回る値へ引き上げ
[2] 利用者数やアクセス状況の注視の継続
[3] API 接続数の上限値と仕様変更に伴う監視体制の再構築
[4] Google 社へ今回の問題の報告と、事前予告なしの変更を行わないよう要望

Google サービスの仕様変更に伴う障害発生については、弊社といたしましても非常に重大な問題と認識しております。
今回の障害につきましては、従来 Google 社から事前に予告されるべき類の変更が、予告なく実施されたことに起因するものでありました。

これまでも障害発生時においては、Google 社への問題の報告と、このような変更を行わないよう要請を都度実施しておりますが、状況の改善をより強く要請するため、Google 社と役員レベルでの会合の場を持ち、今後の協力体制の改善に向けた協議を行っております。

また、上記以外にも必要な対応を継続して検討・実施し、今回のような障害が発生しないよう努めてまいります。

改めまして、今回の障害によるご不便・ご迷惑をおかけいたしましたことを深くお詫び申し上げます。
弊社では、​安定したサービスのご提供は最重要事項と捉えており、今後も継続的に取り組んでまいります。

本件について、ご質問や不明な点などがございましたら、お問合せフォームからご連絡くださいますようお願い致します。

今後とも、引き続きのご利用をどうぞお願い申し上げます。

rakumo 株式会社
プロダクト部 カスタマーサービスグループ