この記事は、AIラボのLinumが4か月間にわたって実施した画像と動画用のVariational Autoencoder (VAE)の開発における経験談と学びについて述べています。

1. **問題点と挑戦**:
- 动画生成技術は進歩していますが、VAEの設計と訓練には依然多くの課題があります。
- まず動画のみを対象としたVAEを構築し、次に静止画像も含める試みで再構成品質低下という問題が発生しました。

2. **学習損失関数の改善**:
- 再構成損失の計算方法を見直し、テンソルサイズによる影響を軽減するための修正を行いました。
- しかし、この修正はピクセルあたりの勾配に不規則な影響を与え、「NaN地獄」現象を引き起こしました。

3. **解決策と学習**:
- Self-Modulated Convolution (SMC) を導入し、出力アクティベーションではなく畳み込み重みを正規化することで問題を解消しました。
- さまざまな解像度のデータを同時に訓練することで最終的に正常に動作するVAEを得ることができました。

4. **再構成品質に対する見直し**:
- 再構成の品質が高いからといって必ずしも生成モデルの性能が向上することはなく、低品質な画像データは過度に修正される可能性があることを学びました。
- 高品質な再構成を行うVAEが劣った拡散モデルを生成する可能性もあるため、適切なバランスを見つけることが重要です。

この研究結果から、VAEの設計と訓練において再構成品質だけでなく、適切な解像度やモダリティの考慮が必要であるという教訓を得たと言えます。