[Critical] Issues with Multiple Box Services
🤖 AI Summary
### 主要な問題点
- フォルダやコレクションの閲覧時にエラーが発生
- 関連するAPIでの機能障害
### 事象の経過
1. **調査開始 (18:20 PDT)**
- フォルダ、コレクション、AI関連サービスで障害が報告された。
2. **問題の特定と対応 (19:12-32 PDT)**
- 調べた結果、バックエンドAPIサービスの実行量オーバーが原因として特定され、対処手順が策定された。
3. **改善措置 (19:52-20:07 PDT)**
- 事象は解決し、今後も継続的にモニタリングされる予定。それでも問題がある場合はBoxサポートに連絡してください。
### 調査結果と修正策
- **原因分析**
- CPU利用率ではなく実行量オーバーの検知が不足していた。
- ヘルスチェックの設定が適切でなく、一時的な負荷によって大規模な再起動が発生した。
- **改善措置**
- 実行量監視と警告を強化し、CPU利用率とは異なる指標に基づくオートスケーリング策定。
- ヘルスチェックとリジエンスの調整を行い、一時的な負荷による大規模な再起動リスク軽減。
- 容量確認と負荷テストによりサービスの安定性を保証する。
Boxは継続的に改善作業を進めており、ユーザーにとって最高の製品とユーザーエクスペリエンスを目指しています。不明点があればサポートにご連絡ください。
May 6, 20:07 PDT
Resolved - After further monitoring, this incident is now considered resolved. If you continue to experience any issues, please contact Box Support at https://support.box.com.
May 6, 19:32 PDT
Monitoring - Our team has taken steps to remediate this issue and is seeing improvement in Box Folder, Collections, Box AI, Hubs, and Classification. We are continuing to monitor for any additional impact.
May 6, 19:12 PDT
Update - Our team has identified the underlying cause of this issue and is working to take remediating steps. We will provide additional updates as they become available.
May 6, 18:52 PDT
Identified - Our team has identified the underlying cause of this issue and is working to take remediating steps. We will provide additional updates as they become available.
May 6, 18:20 PDT
Investigating - We are investigating an ongoing issue affecting browsing folders, collections, Box AI, Classifications, and Hubs. Customers may experience seeing errors when loading folders, collections, Box AI and Hubs. We will provide more information as soon as it is available.