原文: Miss Sister Taste (WeChat 公式アカウント ID: xjjdog)、共有へようこそ、非公式アカウントが複製され、この声明を保持します。
文心一言百度の記者会見の様子を今でも覚えている人も多いだろう。数百億の価値がある上司は、小学生のようにPPTを報告すると不安に満ちています。
実際、それは不要です。コマンドラインはより技術的で説得力があります。それがプログラマーのためであろうと観衆のためであろうと、何ができるかは重要ではなく、実際に出力されるものは誰もが最も気にかけていることです。
結局のところ、人を愚か者として扱う時代はゆっくりと過ぎ去りつつあります。
不思議ではありません。ChatGPT モデルはますます完璧になりつつあり、資本家は非常に不安を感じています。以前は、オープン ソースのイチジクの葉の下で、独自の所有権を持つこともできました。しかし、ChatGPT がこれほどまでに無知であり、そのコア テクノロジーをこれほどしっかりと締め付けるとは思いませんでした。
ChatGPT の機能をオフラインで小さなデバイスで実行できるようになれば、独立した個性を持つインテリジェント ユニットが実現します。このアイデアは、集中型の脳よりも魅力的です。
ここに一つあります。ダウンロードして、実際にコンパイルして MacBook で実行できます。
コール.cpp
これは、LLaMA ダイアログ ライブラリの C++ 実装です。Java や Python の学生を怖がらせる必要はありません。使い方はとても簡単です。問題が発生した場合は、公式アカウント (xjjdog) で質問してください。
よくある質問:
-
このリポジトリはほんの少しのコードです。完全に操作するには、モデルをダウンロードする必要があります。
-
出力パフォーマンスの最適化:github.com/ggerganov/l…
-
ロゴを作成する
llama.cpp:github.com/ggerganov/l…
説明
ChatGPT と比較して、llama の利点は、通常の Macbook、Linux、さらには Docker、Raspberry Pi などを使用して、ChatGPT と同様の対話モデルを実行できることです。
-
純粋な C++ コード、少ないコード、依存関係なし
-
Apple の M1 チップも実行可能で、パフォーマンスが最適化されています
-
x86 アーキテクチャは AVX2 をサポートしています
-
CPU で実行可能、GPU は不要
サポートされているプラットフォーム:
-
[X] Mac OS
-
[X] Linux
-
[X] Windows (CMake 経由)
-
[X] ドッカー
モデルのダウンロード先:
curl -o ggml-alpaca-7b-q4.bin -C - https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
curl -o ggml-alpaca-7b-q4.bin -C - https://ipfs.io/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
curl -o ggml-alpaca-7b-q4.bin -C - https://cloudflare-ipfs.com/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
复制代码那么，这个工具要怎么用呢？超级简单。
首先，将代码clone到本地。
git clone https://github.com/ggerganov/llama.cpp.git
复制代码然后，进入到llama.cpp目录。
cd llama.cpp
复制代码编译代码。
make
复制代码生成后的文件名称叫做main，以后，我们只需要运行 ./main即可。
最重要的一步，你需要下载一个数据模型。否则 llama 是不知道加载什么数据来进行计算的。为了测试，我们下载一个最小的。这个文件大小有3.9G，你需要相应大小的内存预留。
curl -o ggml-alpaca-7b-q4.bin -C - https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
复制代码最后，我们就可以指定这个模型，来进行对话输出了。
./main -m ./ggml-alpaca-7b-q4.bin -p "Will the future be female?" -n 512 --color
复制代码-
m 指定的是模型的位置。
-
p 是对话或者问题。比如这里，我问我是否能够吃狗肉!
-
n 指定的是输出的文字数量，默认是128。
-
--color 输出彩色内容。
下面是一些输出。首先会将输入进行切分，然后生成内容，最后将耗时打印。
% ./main -m ./ggml-alpaca-7b-q4.bin -p "Can i eat dog?" -n 512 --color
No you cannot! Eating dogs is illegal and against the law. It would be considered animal abuse, so please don’t do it under any circumstances…unless you are a cannibal
main: mem per token = 14368644 bytes
main: load time = 743.12 ms
main: sample time = 455.50 ms
main: predict time = 46903.35 ms / 91.79 ms per token
main: total time = 48455.85 ms
复制代码交互模式
如果你想要和ChatGPT一样有对话能力的话，也是可以的。需要加上 -i 参数，当然，也可以使用 -r User:参数输出一个提示符。
比如：
./main -m ./ggml-alpaca-7b-q4.bin -p "Will the future be female?" -n 128 --color -i -r "User:"
复制代码授课模式
所谓授课模式，就是提供一个按照顺序输出的文件列表，让电脑按照顺序把答案输出。如果liyanhong使用这种模式，而不是ppt，估计效果会更好。
比如：
./main -m ./models/13B/ggml-model-q4_0.bin -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-bob.txt
复制代码内存需求
内存的需求取决于你使用的模型。我们的测试使用的都是最简单的模型，所以4GB就够了。如果想要更精细的输出，你的内存需要更大一些。
| model | original size | quantized size (4-bit) |
|---|---|---|
| 7B | 13 GB | 3.9 GB |
| 13B | 24 GB | 7.8 GB |
| 30B | 60 GB | 19.5 GB |
| 65B | 120 GB | 38.5 GB |
Android
你甚至可以在Android上跑起来。如果你的内存够大，那么完全可以做一个小型对话机器人，还是本地的！
后面如果解决了部分加载的问题，Android的嵌入式应用会非常方便。
End
人間は有用な知識ベースをたくさん持っているように見えますが、実際にはトレーニング後、せいぜい結核レベルを超えることはありません。もちろん、同じとは言えません。コンピューターも 0 と 1 でできていますが、今ではほとんど何でもできます。しかし、アルゴリズムのトレーニングに加えて、ユーザーにとってモデルが最も重要であることは間違いありません。
これらの限られたデータを小さなデバイスにプリロードすると、最小のインテリジェント ボディになります。データに個性を追加すると (現在の Chat シリーズで可能です)、このインテリジェントなボディは秘書、スポークスパーソン、またはボーイフレンドやガールフレンドとしても機能します。
まあ、何でも可能です。これからは健康管理に気をつけて、もう少し長生きして、未来の世界がどうなるか見てみましょう！
作者について：ミスシスターテイスト （xjjdog） プログラマー寄り道禁止の公式アカウントです。インフラストラクチャと Linux に焦点を当てます。10 年のアーキテクチャと 1 日あたり数百億のトラフィックを使用して、高同時実行の世界について話し合い、別の味を提供します。私の個人的なWeChat xjjdog0、さらなるコミュニケーションのために友達を追加することを歓迎します。
推奨読書:
1. Linux で遊ぶ
2. ホワット・テイスト・アルバム
3. ブルートゥースの夢
4. 殺人！
5. 台本だけを残した失われた建築家
6. アーキテクトが書いたBUGがすごい
7。 一部のプログラマーは本質的に羊の群れです!
この記事は人工知能クリエイター支援プログラムに参加しています