人工知能の波において、大規模モデルはその強力な学習と推論能力により、多くの先進的なアプリケーションの基盤となっています。しかし、これらのモデルはしばしば高価なハードウェアのサポート、特に高性能な GPU が必要とされるため、多くの研究者や開発者が躊躇しています。しかし、国内の Fitten 社が開発した JittorLLMs は、この状況を変え、大規模モデルのローカルデプロイメントを手の届く範囲にすることができます。
プロジェクトのウェブサイト：https://github.com/Jittor/JittorLLMs
- 低コストで高性能：
JittorLLMs は、大規模モデルのために設計された推論ライブラリであり、その主な利点はハードウェア要件を大幅に削減できることです。従来のフレームワークと比較して、JittorLLMs は 80％のハードウェア要件を削減し、独立したグラフィックカードがなくても 2G のメモリで大規模モデルを実行することができます。つまり、一般のマシンで誰でも大規模モデルをローカルにデプロイすることができ、高価なハードウェア投資は必要ありません。
- 幅広いサポートと高いポータビリティ：
JittorLLMs は、ChatGLM 大規模モデル、鹏程盘古大規模モデル、BlinkDL の ChatRWKV、Meta の LLaMA/LLaMA2 大規模モデル、MOSS 大規模モデルなど、さまざまな大規模モデルをサポートしており、今後はさらに国内の優れた大規模モデルをサポートする予定です。Jittor 版 PyTorch（JTorch）を使用することで、ユーザーはコードの変更なしにモデルを移行し、さまざまな異種計算デバイスや環境に適応させることができます。
- ダイナミックスワップ技術による開発の容易化：
Jittor チームが開発したダイナミックスワップ技術は、動的グラフ変数の自動スワップ機能をサポートする世界初のフレームワークです。ユーザーはコードの変更をする必要なく、テンソルデータを GPU メモリ - システムメモリ - ディスクの間で自動的にスワップすることができ、大規模モデルの開発の難易度が大幅に低下します。
- 高速なロードと計算パフォーマンス：
Jittor フレームワークは、ゼロコピー技術とメタオペレータの自動コンパイル最適化により、大規模モデルのロードコストを 40％削減し、計算パフォーマンスを 20％以上向上させます。十分な GPU メモリがある場合、JittorLLMs は同様のフレームワークよりも優れたパフォーマンスを発揮し、GPU メモリが不足していたり、グラフィックカードがない状況でも一定の速度で実行することができます。
JittorLLMs は、大規模モデルのデプロイメントに新たな可能性を提供するだけでなく、人工知能の普及と応用のための新たな道を開拓します。技術の進歩とともに、将来的には人工知能がより普及し、私たちの生活により深く組み込まれることを期待しています。
プロジェクトのウェブサイト：https://github.com/Jittor/JittorLLMs