Code Llama チュートリアル シリーズ: Apple ラップトップ macOS でローカルで Code Llama を実行する (独自のコード AI を作成する)

コードラマとは何ですか?

Code Llama は、Llama 2 に基づいて構築された AI モデルで、コードの生成と議論のために微調整されています。
研究および商用利用は無料です。
Code Llama はコード補完とデバッグを容易にし、Python、C++、Java、PHP、Typescript (Javascript)、C#、Bash などの一般的な言語にシームレスに適応します。

このセクションでは、コードを通じて各ステップを詳しく説明します。

MacBook でコード Llama を実行する

はじめる

Code Llama のモデルの重みは、Huggingface で確認できます。

基本モデル コード Llama と拡張モデル コード Llama — Python は指示に従うように微調整されていません。期待される答えがプロンプトの自然な継続となるように、プロンプトを表示する必要があります。これは、これら 2 つのモデルがコード入力とコード補完に焦点を当てていることを意味し、
拡張モデル Code Llama は、「自然言語命令」入力と予期される出力を使用してトレーニングされます。この戦略的アプローチにより、人間の期待を手がかりとして捉えるモデルの能力が強化されます。これは、命令モデルがチャットボットのようなアプリケーションで使用できることを意味します。

インストール

llama2-wrapper は、複数の llama2 バックエンド (transformers、gptq、llama.cpp) をラップし、チャットボットと Code Llama のコード プレイグラウンドを実行するための llama2-webui を提供するパッケージです。

インストールは pip を使用して簡単に行うことができます。

pip install llama2-wrapper

リポジトリのクローンを作成する