En este blog, mostraré cómo usar el proyecto llama.cpp para ejecutar LLM de forma nativa en cualquier CPU MacBook Air/Pro M1 o M2. Estoy usando una nueva MacBook Air 13 M2, pero debería funcionar para cualquier otro modelo.
1. Requisitos previos
1.1. Abra Safari para descargar Google Chrome
1.2. instalar cromo
1.3. abre la terminal
$ git
1.4. Instalar cerveza:
Descarga https://brew.sh/ desde su sitio web
o:
$ /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
Luego agregue cerveza a PATH:
$ echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> /Users/<your-user-name>/.zprofile
$ eval "$(/opt/homebrew/bin/brew shelling)"
Ahora instalemos los paquetes requeridos con brew:
$ brew install wget [email protected] cmake git
1.5. Instalar TG Pro (opcional)
Es una herramienta paga para MacOS con una prueba gratuita de 14 días que rastrea la temperatura de diferentes componentes, como cada núcleo de CPU, núcleo de GPU, batería