banner
andrewji8

Being towards death

Heed not to the tree-rustling and leaf-lashing rain, Why not stroll along, whistle and sing under its rein. Lighter and better suited than horses are straw sandals and a bamboo staff, Who's afraid? A palm-leaf plaited cape provides enough to misty weather in life sustain. A thorny spring breeze sobers up the spirit, I feel a slight chill, The setting sun over the mountain offers greetings still. Looking back over the bleak passage survived, The return in time Shall not be affected by windswept rain or shine.
telegram
twitter
github

谷歌Gemma本地快速運行,設備要求低,操作簡單

Gemma 已經介紹過了,另外還介紹了使用程式碼的方式和他進行聊天。
程式碼這種方式,比較適合搞開發的程式設計師,相對門檻較高。
從使用的角度來說,用起來也不方便。
今天介紹另外一種對任何人都更友好的方式,直接使用可視化軟體和 Gemma 進行交流。
今天要用的軟體叫 lmstudio,一個支持一鍵運行眾多大模型的軟體。

https://lmstudio.ai(需要魔法)

image

它的最新版 0.2.16 已經支持 Gemma 模型,20 億和 70 億參數的模型都支持。
這個軟體挺不錯,除了支持和大量開源模型聊天之外,還能啟動兼容 OpenAI 的 API 服務。
對普通用戶和開發者都比較友好。
軟體也有多平台支持,目前已經支持 Windows,Mac(Apple Silicon M 系列),Linux 這三個系統。
另外軟體默認好像是調用 CPU 進行推理,所以設備門檻就降低了很多很多。
小模型推理速度也非常不錯。

image
安裝完軟體之後(舊版用戶記得升級),在主界面上就可以看到 Google's Gemma 2b Instruct 的卡片。在卡片中找到 download,點一下就開始下載模型了。
整個過程非常簡單,但是內網用戶可能遇到無法下載的問題。
下載完成之後,在軟體頂部下拉選擇 Gemma 模型,等待模型加載完成就可以進行對話了。

image

在視窗底部 User 後面輸入內容,就可以開始聊天了。
你可以直接發中文,它能聽懂,但是他會用英文回答你。

image

載入中......
此文章數據所有權由區塊鏈加密技術和智能合約保障僅歸創作者所有。