在人工智能的浪潮中，大模型以其强大的学习和推理能力，成为了许多先进应用的基石。然而，这些模型往往需要昂贵的硬件支持，尤其是高性能的 GPU，这让许多研究者和开发者望而却步。但现在，国内的 Fitten 公司推出的 JittorLLMs，正改变这一现状，让大模型的本地部署变得触手可及。
项目网址：https://github.com/Jittor/JittorLLMs
1. 低成本，高性能：
JittorLLMs 是一个专为大模型设计的推理库，它的核心优势在于能够大幅降低硬件配置要求。与传统框架相比，JittorLLMs 减少了 80% 的硬件需求，即使在没有独立显卡的情况下，只需 2G 内存就能运行大模型。这意味着每个人都可以在普通机器上实现大模型的本地部署，无需昂贵的硬件投资。
2. 广泛的支持与高可移植性：
JittorLLMs 支持多种大模型，包括 ChatGLM 大模型；鹏程盘古大模型；BlinkDL 的 ChatRWKV；Meta 的 LLaMA/LLaMA2 大模型；MOSS 大模型等，并且后续还将支持更多国内优秀的大模型。通过 Jittor 版 PyTorch（JTorch），用户无需修改任何代码，即可实现模型的迁移，适配各类异构计算设备和环境。
3. 动态交换技术，降低开发难度：
Jittor 团队研发的动态交换技术，是世界首个支持动态图变量自动交换功能的框架。用户不需要修改任何代码，张量数据可以在显存 - 内存 - 硬盘之间自动交换，大大降低了用户开发大模型的难度。
4. 快速加载与计算性能：
Jittor 框架通过零拷贝技术和元算子自动编译优化，使得大模型的加载开销降低了 40%，计算性能提升了 20% 以上。在显存充足的情况下，JittorLLMs 的性能优于同类框架，即使在显存不足甚至没有显卡的情况下，也能以一定速度运行。
JittorLLMs，不仅为大模型的部署提供了新的可能，也为人工智能的普及和应用开辟了新的道路。随着技术的不断进步，我们有理由相信，未来人工智能将更加普惠，更加深入地融入我们的生活。
项目网址：https://github.com/Jittor/JittorLLMs