# LRCC、低ランク圧縮LLMにトークン別の計算経路を導入

> 新手法LRCCは、トークンごとに計算量の少ない経路と豊かな経路をLlamaやQwenモデルに選ばせ、追加のハードウェアなしで精度を高める。

Oossa · 2026-10-08 · https://oossa.com/ja/lrcc-adds-token-dependent-computation-to-low-rank-compressed-llms

研究者らは、圧縮された言語モデルの性能を高める手法「Low‑Rank Conditional Computation（LRCC）」を発表した。各Transformerブロックに小型のルーターを設け、現在のトークンに応じて複数の低ランク経路から1つを選ぶ。学習するのはルーターだけで、低ランク行列は固定したままだ。Llama‑2‑7B、Llama‑3.2‑1B、Qwenで評価したところ、LRCCは静的な低ランク圧縮と比べ、Llama‑2‑7Bの下流タスク精度を7.6ポイント向上させた。また、デコード速度を変えずに、より良いパープレキシティを達成した。

## 事実

- Llama‑2‑7Bの下流タスク平均精度が7.6パーセントポイント向上
- 論文は2026‑10‑08に公開

## なぜ重要か

開発者は、計算コストを抑えながら精度を保つ、トークンごとに経路を切り替えるモデルを実行できる。LlamaやQwenを使うアプリケーションの計算コスト削減につながる。

## 出典と参考資料

1. [LRCC: Generalizing Low-Rank Compression with Conditional Computation](https://arxiv.org/abs/2610.08858) – arXiv, 2026-10-08

最終更新: 2026-10-08