猴子的記憶庫在Armbian上安裝RWKV
type
status
date
slug
summary
tags
category
icon
password
RWKV是一種新的語言模型架構，它結合了RNN和Transformer的優點，可以實現高效的並行訓練和推理，因此速度更快且更省顯存。 它還支援 GPT 模式並行訓練。
📝 在Armbian上安裝RWKV
因為OPENAI的ChatGPT試用己經沒有了，所以想自己運行一個本地版的ChatGPT
不過伺服器只有CPU和4G RAM，能運行的LLM基本上是玩具性質
最後選擇的是RWKV-4-World-0.1B，模型大小只有386 MB
而且RWKV是開源的LLM，模型也有中文版本，也比較多人開發相關軟件
RWKV-4-World-0.1B版本:
BlinkDL/rwkv-4-world · Hugging Face
中文版本:
https://huggingface.co/BlinkDL/rwkv-4-world/blob/main/RWKV-4-World-CHNtuned-0.1B-v1-20230617-ctx4096.pth
1.安裝環境及下載models
- 需要有python3.10
2.運行RWKV-Runner後端伺服器及測試
可以看到最少的0.1B model要實際需要1.2G ram左右
3.設置webgui(Docker或Nodejs)
webgui測試:
打開localhost:3000，第一次要輸入CODE(如有設定)
總結:
雖然RKWV可以在CPU和2G RAM運行，可惜模型太小，使生成的回應有不少問題
如不停重複生成同一句子，浪費CPU和加長了生成時間，我的CPU溫度也從40度上升到60度
長期運行是不可能，只好等之後有沒有優化模型可以限制句子重複生成
📎 参考文章
上一篇
自建WebDAV備份Obsidian筆記
下一篇
Datadog自定義監控CPU和硬碟溫度
Loading...
