本文へスキップ

スパースモデルとは?

すぱーすもでる

多くのパラメータをゼロにして計算を効率化したモデル

ほとんどの重みをゼロにすることで少ない有効パラメータで計算を行うモデルでスパースアテンションやMixture of Expertsがその例として挙げられる。

使い方・例文

GPT-4はMixture of Expertsを採用したスパースモデルで少ない計算コストで大規模な能力を実現していると言われる。

この用語をシェア

𝕏 でポスト LINE

最終更新:

関連用語