免费、開源的 OpenAI 替代方案。自托管、社區驅動、本地優先。在消費級硬件上運行的 OpenAI 的直接替代品。無需 GPU。運行 ggml、gguf、GPTQ、onnx、TF 兼容模型：llama、llama2、rwkv、whisper、vicuna、koala、cerebras、falcon、dolly、starcoder 等
官網 https://localai.io/
github 地址
國內鏡像（翻譯版本）
http://www.gitpp.com/llm/localai-cn
LocalAI 是免費的開源 OpenAI 替代品。LocalAI 充當 REST API 的直接替代品，與本地推理的 OpenAI API 規範兼容。它允許您使用消費級硬件在本地或本地運行 LLM、生成圖像、音頻（不僅如此），支持多個模型系列。不需要 GPU。
LocalAI 是一個開源項目，旨在為開發者提供一個免費且易於使用的本地人工智能解決方案。它旨在與 OpenAI 的 API 規範兼容，使得開發者能夠在不使用 OpenAI 的服務的情況下，也能夠利用類似的功能。LocalAI 支持多種模型系列，包括語言模型和圖像、音頻生成模型等。
LocalAI 的特點包括：
-
開源性：LocalAI 是開源的，這意味著其源代碼可以被任何人自由地查看、修改和分發。
-
免費使用：LocalAI 提供免費的使用權限，開發者可以不花錢就使用其功能。
-
本地推理：LocalAI 支持在本地硬件上進行推理，這意味著不需要連接到雲服務或使用遠程服務器。
-
消費級硬件：LocalAI 能夠在消費級硬件上運行，不需要高性能的 GPU 或特殊的硬件支持。
-
模型兼容性：LocalAI 支持多個模型系列，開發者可以根據自己的需求選擇合適的模型。
-
API 兼容性：LocalAI 的接口設計是為了與 OpenAI 的 API 規範兼容，以便開發者可以較為簡單地將現有的 OpenAI 代碼遷移到 LocalAI。
LocalAI 的出現為那些希望避免使用中心化服務或出於隱私和安全考慮而希望將數據留在本地環境的開發者提供了一個替代選擇。然而，需要注意的是，儘管 LocalAI 提供了一些便利，但它可能並不完全能替代 OpenAI 的服務，特別是在模型性能和功能方面。開發者在使用 LocalAI 時應根據自己的需求和期望進行評估。
如何開始
運行 LocalAI 最簡單的方法是使用 docker compose 或與 docker（要在本地構建，請參閱構建部分）。
LocalAI 至少需要一個模型文件或一個配置 YAML 文件，或兩者都需要。您可以使用配置文件自定義進一步的模型默認值和特定設置
容器鏡像要求：
Docker 或 podman，或容器引擎
為了建立 LocalAI 您可以在本地使用容器鏡像 docker， 例如：
# build the image
docker build -t localai .
docker run localai
本地
為了在本地構建 LocalAI，您需要滿足以下要求：
*Golang >= 1.21
*Cmake/make
*GCC
*GRPC
要使用以下命令構建 LocalAI make：
git clone https://github.com/go-skynet/LocalAI
cd LocalAI
make build