清水 康希 / Koki Shimizu

研究紹介

ランダム行列理論

ランダム行列理論(Random Matrix Theory, RMT)は、確率変数を要素とする行列を対象として、その固有値や特異値の分布・振る舞いを解析する理論です。その起源は、1928年にJ. Wishartが標本共分散行列の分布(ウィシャート分布)を導出した研究や、1950年代にE. Wignerが原子核のエネルギー準位を説明するためにランダム行列を導入し、半円則を示した研究にさかのぼります。

RMTは数学や物理学だけでなく、統計学、データサイエンス、金融、情報通信など、さまざまな分野で応用されています。特に、データの次元(変数の数)がサンプルサイズと同程度、あるいはそれを上回るような高次元データでは、従来の統計理論とは異なる現象が現れるため、ランダム行列理論に基づく解析が重要になります。

近年では、ニューラルネットワークの重み行列をRMTの観点から解析することで、深層学習モデルの構造や、モデル内部でどのように情報が表現されているかを理解する研究にも活用されており、機械学習・AI分野においても注目されています。

固有値 λ
ランダム行列のサイズを大きくすると、ランダム行列の固有値分布は半円形(半円則, Wigner, 1950年代)に近づきます

ランダム行列理論の応用例

  • 深層学習・LLM(大規模言語モデル) — 重み行列のスペクトル分布を用いたモデル圧縮
  • 金融 — 株式市場の相関行列からのノイズ除去とリスク構造の抽出
  • 生命科学 — 遺伝子共発現ネットワークの構築、シングルセルRNA-seqデータのノイズ除去
  • その他 — 音声信号のノイズ除去、交通・スポーツ統計への応用

過剰パラメータを有する大規模言語モデル(深層学習モデル)においては、パラメータ行列の特異値解析が有効であり、性能を維持したままモデルの軽量化を実現する研究を進めています。日々登場する最新モデルに対してRMTの適用可能性を検討し、性能劣化の要因を明らかにするとともに、改善手法に関する研究を進めています。

① LLMを取得 大規模言語モデル ② 重み行列を抽出 重み行列 W ③ 固有値分布とMP分布を比較 ノイズ(MP分布) 信号(少数) ④ モデル圧縮 低ランク重み行列
LLM(大規模言語モデル)の重み行列から固有値(特異値)を計算して分布をつくり、Marchenko–Pastur分布(ランダム行列が示す「ノイズ」の分布)と比較します。分布の範囲からはみ出す少数の固有値(信号)だけを意味のある成分として残し、それ以外のノイズ部分を切り捨てる低ランク近似によってモデルを圧縮します。

多変量解析

多変量解析は、複数の変数を同時に扱って関係性やパターンを明らかにする統計手法の総称で、多変量分散分析(MANOVA)・正準相関分析・主成分分析などがあります。

n > p n(サンプルサイズ) p(変数) 従来の統計理論が扱える範囲 n < p n(サンプルサイズ) p(変数) 高次元データ(本研究)
サンプルサイズ n より変数の数 p が大きい「高次元データ」では、従来の統計理論をそのまま適用できません(横軸:n=サンプルサイズ、縦軸:p=変数の数)

分散共分散行列の固有値や固有ベクトルは、主成分分析をはじめとする多変量解析において重要な役割を果たしており、それらの分布を求めることは数理統計学における重要な研究課題の一つです。 多変量解析における固有値分布論は、1960年代にA. T. Jamesがゾーナル多項式を導入し、固有値分布を解析するための理論的枠組みを構築したことで大きく発展しました。その後ゾーナル多項式を用いて、分散共分散行列の第一固有ベクトルの正確分布がSugiyama (1966)で、最大固有値の正確分布がSugiyama (1967)で導出されています。しかしゾーナル多項式の数値計算は難しく、1970〜80年代は日本の統計学者を中心に、統計的推測における漸近理論としての発展が中心となりました。その後、情報処理技術の発展とともにゾーナル多項式の数値計算もある程度できるようになったことで、正確分布の研究が再び進むとともに、様々なデータに対応できるよう発展してきています。

遺伝子データのように、サンプルサイズよりも変数の数の方が大きい高次元データでは、従来の多変量解析の理論をそのまま適用することができません。また、大標本漸近理論に基づく統計手法の適用も難しくなります。そこで、高次元データにも適用可能な理論を構築し、平均ベクトルや分散共分散行列、主成分分析に関する検定統計量の正確分布や近似分布の導出に取り組んでいます。