猴子的記憶庫Colab部署編程AI CodeLlama
type
status
date
slug
summary
tags
category
icon
password
CodeLlama是基於Meta的Llama2語言模型構建的編程AI，以社群許可證方式免費開源，可以在本地運行。
Colab部署編程AI CodeLlama
CodeLlama的模型可以直接在Hugging Face下載，分7B, 13B和34B，最小的7B也要14G VRAM才可以運行。不過可以用Google Colab他們的免費T4 GPU(有15G VRAM)跑一下。
部署
因為是在huggingface下載，所以直接用本家transformers API tools，
好了。
BASH:下載最新版transformers
Python:在用transformers載入CodeLlama模型
Python:設定輸入及運行pipeline
輸出結果
總結
測試了一下，基本上輸出結果準確度只有50%左右，只能作個参考，但可以離線運行是一個不錯的優點。
想自己運行可以用我下面的Colab Example:
📎 参考文章
上一篇
x96max+安裝rtl8821cu驅動
下一篇
ZeroTier在Linux與Win之間建立虛擬區域網路
Loading...
