状態空間モデルとMamba#

状態空間モデル（SSM）ベースのモデルについて、Mambaを中心に紹介します。

SSMベースのモデルは、計算量が系列長に対し線形にスケールする制御理論由来の数理モデルであり、Transformerの計算コスト問題を解決する次世代の基盤技術として注目されています。その中でもMambaは、入力に応じた情報の取捨選択を可能にするメカニズムを導入することで、効率性と高い表現力を両立させたモデルです。