ソース | Qubit | パブリック アカウント QbitAI
大規模な言語モデルを実行するための敷居が iPhone まで引き下げられました。
もちろんAndroid版もありますが、RAMが6Gあれば2060より衝撃的でしょうか？
そして今回は箱なしバージョンです！
このプロジェクトは MLC LLM と呼ばれ、著名な学者 Chen Tianqi のチームによる以前の WebLLM と同じです。
これまでのところ、GitHub で 6,800 個以上のスターを獲得しています。
現在テスト可能なモデルは、アルパカ科の RedPajama と Vicuna (LLaMA に基づく) です。
オプションのモデル パラメーターはそれぞれ 30 億と 70 億で、これは多くのオンライン デモの規模に匹敵します。
RedPajamaチームは、この成果により大規模モデルの民営化展開の可能性が開かれたと述べた。
さっそく、その体験がどのようなものか見てみましょう。
ライティングスキルは許容範囲ですが、科学は欠点です
その中からVicunaモデルをテストに選びました。
まずその文学的才能を試すために、四季それぞれに詩を書きました。
リズム、基本的には 2 つまたは 3 つの文と 1 つの韻です。
詩だけでなく物語も創作でき、内面のドラマも書くことができます。
恋愛に限らず、他のタイプの物語ではこれに勝るものはありません。
文学的な用途に加えて、その実用的な機能を試してみるのもいいかもしれません。
ハワイアンピザのレシピを生成してもらいましたが、とても美味しそうでした。
旅行計画もそれによって手配することができます。
科学と工学の分野でそれがどのように機能するかを見てみましょう。
コードの矢面に立って、最大数を見つけるために Python でコードを記述してみます。
予想外に、それは列挙でした...しかし、結果は要件を満たしていました。
def max_of_three(num1, num2, num3):
if num1 > num2 and num1 > num3:
return num1
elif num2 > num1 and num2 > num3:
return num2
elif num3 > num1 and num3 > num2:
return num3
return None
num1 = 11
num2 = 45
num3 = 14
max_value = max_of_three(num1, num2, num3)
print("The maximum value is: ", max_value)
ただし、少し難しい問題に遭遇すると、プログラミング能力が少し限界になります。
数学や論理的思考については何とも言えませんが、結局のところ、携帯電話に適応するにはパラメータが限られているのは理解できます。
中国語での質問も試みましたが、中国語への適応にはまだいくつかの問題があることがわかりました。
また、モバイルAPPにはチャット記録を保存する機能がまだないため、インターフェースを切り取る場合は注意してください。
携帯電話上で実行できる大型モデルの能力はまだ限られていますが、チームは将来のさらなる開発の方向性も示しました。
たとえば、ユーザー向けにモデルをカスタマイズし、クラウドのパブリック基本モデルと対話し、オフライン サポート、アプリの埋め込み、分散化などを提供します。
インストールする方法
このモックアップは、iOS、Android モバイル デバイスに加え、Windows や Mac もサポートしています。
iOS ユーザーは、まず TestFlight をインストールし、次のポータルからテストを申請できます。
ポータル: https://testflight.apple.com/join/57zd7oxa
クォータがいっぱいの場合は、GitHub のコードを使用して自分でコンパイルしてインストールすることもできます
ポータル: https://github.com/mlc-ai/mlc-llm
Android ユーザーは、 APK を直接ダウンロードしてインストールできます。初めて実行するときは、データ パッケージをオンラインでダウンロードする必要があります。
ポータル: https://github.com/mlc-ai/binary-mlc-llm-libs/raw/main/mlc-chat.apk
デスクトップ ユーザーの場合は、公式チュートリアルを参照してください。
ポータル：https://mlc.ai/mlc-llm/