項目名: FreeAskInternet -- 本地化大語言模型的對話系統
Github 開源地址:https://github.com/nashsu/FreeAskInternet
FreeAskInternet 是一個免費開源的大語言模型工具,它結合了多個先進的大語言模型來提供搜索和答案生成的服務。
我們可以直接在本地安裝運行,無需 GPU,看起來更像是一個各個大語言模型的搜索聚合器。
根據該項目的描述, FreeAskInternet 是使用大型語言模型(LLM)來生成答案,無需依賴圖形處理單元(GPU)。用戶提出問題後,系統會利用 SearXNG 進行多引擎搜索,並將搜索結果與 ChatGPT3.5 語言模型結合,基於這些搜索結果生成答案。所有過程都在本地運行,不需要 GPU 或者 OpenAI 或 Google 的 API 密鑰。
註:SearXNG 是一個免費的互聯網元搜索引擎,它聚合來自各種搜索服務和數據庫的結果,開源地址:https://github.com/searxng/searxng。
總結下來 FreeAskInternet 的特點有:
免費開源,我們可以本地自己安裝完成。
使用了 ChatGPT3.5、Qwen、Kimi、致普 AI 等 API,用戶無需擁有這些 API 的密鑰即可使用它們。
由於使用了免費的 API,與通常需要 GPU 來運行的大語言模型不同,FreeAskInternet 不需要 GPU 即可運行,降低了用戶的硬件要求。
我們也可以自定義大語言模型,如 ollama(下載地址:https://ollama.com/),這為用戶提供了更多的靈活性和個性化選項。
安裝簡單,通過 Docker Compose 一個流行的容器編排工具,用戶可以快速部署 FreeAskInternet,簡化了安裝和配置過程。
FreeAskInternet 工作原理:用戶在界面輸入的問題,SearXNG 進行多引擎搜索,搜索完成後,系統會自動爬取並收集搜索結果中的鏈接內容,然後將這些內容傳遞給選定的 LLM(Large Language Models:大語言模型),如 ChatGPT3.5、Kimi、Qwen、ZhipuAI 或自定義的 ollama,這些模型利用傳遞的內容作為參考,生成內容並回答用戶的問題。
安裝使用
該項目還處於早期階段,所以難免有一些問題,但個人學習使用完全足夠了。
雖然項目成立不久,但目前已收獲了 6.8k star,熱度還在持續提升,可以多關注:
安裝前需要你本地已安裝 docker,並支持 docker-compose,安裝完成後就可以打開鏈接 http://localhost:3000 開始使用了。
安裝使用如下:
git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d