在人工智能的浪潮中，大模型以其強大的學習和推理能力，成為了許多先進應用的基石。然而，這些模型往往需要昂貴的硬件支持，尤其是高性能的 GPU，這讓許多研究者和開發者望而卻步。但現在，國內的 Fitten 公司推出的 JittorLLMs，正改變這一現狀，讓大模型的本地部署變得觸手可及。
項目網址：https://github.com/Jittor/JittorLLMs
1. 低成本，高性能：
JittorLLMs 是一個專為大模型設計的推理庫，它的核心優勢在於能夠大幅降低硬件配置要求。與傳統框架相比，JittorLLMs 減少了 80% 的硬件需求，即使在沒有獨立顯卡的情況下，只需 2G 內存就能運行大模型。這意味著每個人都可以在普通機器上實現大模型的本地部署，無需昂貴的硬件投資。
2. 廣泛的支持與高可移植性：
JittorLLMs 支持多種大模型，包括 ChatGLM 大模型；鵬程盤古大模型；BlinkDL 的 ChatRWKV；Meta 的 LLaMA/LLaMA2 大模型；MOSS 大模型等，並且後續還將支持更多國內優秀的大模型。通過 Jittor 版 PyTorch（JTorch），用戶無需修改任何代碼，即可實現模型的遷移，適配各類異構計算設備和環境。
3. 動態交換技術，降低開發障礙：
Jittor 團隊研發的動態交換技術，是世界首個支持動態圖變量自動交換功能的框架。用戶不需要修改任何代碼，張量數據可以在顯存 - 內存 - 硬盤之間自動交換，大大降低了用戶開發大模型的障礙。
4. 快速加載與計算性能：
Jittor 框架通過零拷貝技術和元算子自動編譯優化，使得大模型的加載開銷降低了 40%，計算性能提升了 20% 以上。在顯存充足的情況下，JittorLLMs 的性能優於同類框架，即使在顯存不足甚至沒有顯卡的情況下，也能以一定速度運行。
JittorLLMs，不僅為大模型的部署提供了新的可能，也為人工智能的普及和應用開辟了新的道路。隨著技術的不斷進步，我們有理由相信，未來人工智能將更加普惠，更加深入地融入我們的生活。
項目網址：https://github.com/Jittor/JittorLLMs