Gemma 已經介紹過了,另外還介紹了使用程式碼的方式和他進行聊天。
程式碼這種方式,比較適合搞開發的程式設計師,相對門檻較高。
從使用的角度來說,用起來也不方便。
今天介紹另外一種對任何人都更友好的方式,直接使用可視化軟體和 Gemma 進行交流。
今天要用的軟體叫 lmstudio,一個支持一鍵運行眾多大模型的軟體。
它的最新版 0.2.16 已經支持 Gemma 模型,20 億和 70 億參數的模型都支持。
這個軟體挺不錯,除了支持和大量開源模型聊天之外,還能啟動兼容 OpenAI 的 API 服務。
對普通用戶和開發者都比較友好。
軟體也有多平台支持,目前已經支持 Windows,Mac(Apple Silicon M 系列),Linux 這三個系統。
另外軟體默認好像是調用 CPU 進行推理,所以設備門檻就降低了很多很多。
小模型推理速度也非常不錯。
安裝完軟體之後(舊版用戶記得升級),在主界面上就可以看到 Google's Gemma 2b Instruct 的卡片。在卡片中找到 download,點一下就開始下載模型了。
整個過程非常簡單,但是內網用戶可能遇到無法下載的問題。
下載完成之後,在軟體頂部下拉選擇 Gemma 模型,等待模型加載完成就可以進行對話了。
在視窗底部 User 後面輸入內容,就可以開始聊天了。
你可以直接發中文,它能聽懂,但是他會用英文回答你。