- Вопрос или проблема
- Ubuntu 24.04
- Вариант 1: Скачать предварительно собранные бинарные файлы (рекомендуется)
- Вариант 2: Собрать локально
- Использование llama.cpp:
- Ответ или решение
- Теория
- Пример
- Применение
- Способ 1: Загрузка предварительно скомпилированных бинарников
- Способ 2: Сборка из исходников
- Загрузка и использование моделей
- Прочие решения
- Заключение
Вопрос или проблема
Я хочу установить llama.cpp из официального репозитория https://github.com/ggerganov/llama.cpp.
Может кто-нибудь помочь мне, пожалуйста? Нет учебных материалов для Ubuntu на YouTube, и я не хочу обращаться к ChatGPT для чего-то столь важного.
-
Сохраните файлы LLama.cpp локально.
Откройте терминал в папке, где хотите установить приложение.git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
-
Скачайте модель и поместите её в подпапку ‘models’.
Например:
https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/resolve/main/ggml-alpaca-7b-q4.bin
Примечания: Лучшая модель = лучшие результаты.
Тем не менее, имеются ограничения. Например, модель 65B ‘alpaca-lora-65B.ggml.q5_1.bin’ (5bit) = 49 ГБ пространства; 51 ГБ ОЗУ требуется.
В будущем, надеемся, будут найдены еще более лучшие варианты.
Также имеются различные файлы (требования) для моделей, которые будут использовать только CPU или также GPU (и от какого бренда – AMD, NVIDIA).
Чтобы наилучшим образом использовать ваше оборудование, проверьте доступные модели.
Модель ‘ggml-alpaca-7b-q4.bin’ 7B работает без необходимости наличия дополнительной видеокарты. Это легкий старт.
- Обновите путь + Запустите (вопросы) из терминала
/Documents/Llama/llama.cpp$
make -j && ./main -m ./models/ggml-alpaca-7b-q4.bin -p "Какой лучший подарок для моей жены?" -n 512
Результат:
Источник: https://github.com/ggerganov/llama.cpp
Было бы здорово:
1. проверить наличие лучшего (веб)интерфейса (поверх терминала).
2. Добавьте персонажа, как
https://www.youtube.com/watch?v=nVC9D9fRyNU
из
https://discord.com/channels/1018992679893340160/1094185166060138547/threads/1094187855854719007
P.S. Самая простая локальная установка ИИ – это скачать ‘one-click-installer’ с
https://github.com/oobabooga/one-click-installers
(и следовать сообщениям с подсказками).
Для Ubuntu \ Терминала:
$ chmod +x start_linux.sh $ ./start_linux.sh
Однако, сейчас это не идеальный мир. Мои неудачные попытки включали:
- OobaBooga не удалось из-за железа моего ноутбука (не найдена GPU). Ошибка – заявлена. И похоже, модель, которую я выбрал, не может работать без графической карты NVIDIA
- Dalai lama не удалось из-за ограничений прав доступа к папке и некоторых проблем совместимости версий. Поэтому я отказался от неё, хотя она выглядела многообещающе. https://github.com/cocktailpeanut/dalai
Ubuntu 24.04
Вариант 1: Скачать предварительно собранные бинарные файлы (рекомендуется)
Вы можете скачать последнюю версию с https://github.com/ggerganov/llama.cpp/releases/
На момент написания последняя версия – это b4610, я использую Ubuntu и машину с архитектурой x64:
mkdir llama.cpp
cd llama.cpp
wget https://github.com/ggerganov/llama.cpp/releases/download/b4610/llama-b4610-bin-ubuntu-x64.zip
unzip llama-b4610-bin-ubuntu-x64.zip
Вариант 2: Собрать локально
Если вы решите собрать llama.cpp самостоятельно, рекомендую воспользоваться их официальным руководством: https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md
Возможно, вам понадобится установить некоторые пакеты:
sudo apt update
sudo apt install build-essential
sudo apt install cmake
Скачайте и соберите llama.cpp:
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release
Использование llama.cpp:
Какой бы путь вы ни выбрали, у вас будут бинарные файлы llama.cpp в папке llama.cpp/build/bin/.
-
Используйте HuggingFace для загрузки моделей
Если вы используете HuggingFace, вы можете использовать опцию
-hf, и она может загрузить нужную вам модель. Модели, загруженные таким образом, хранятся в~/.cache/llama.cpp:cd llama.cpp/build/bin/ ./llama-cli -hf bartowski/Mistral-Small-24B-Instruct-2501-GGUF -
Загрузить модель из другого места
Если вы уже скачали свою модель в другом месте, вы всегда можете использовать опцию
-m, например, так:llama-cli -m [path_to_model]. Например, я храню свои модели в домашней папке, вот так~/models/, так что если я хочу использовать файлMistral-7B-Instruct-v0.3-GGUF, моя команда будет:cd llama.cpp/build/bin/ ./llama-cli -m ~/models/Mistral-Small-24B-Instruct-2501-GGUF
самый простой способ сделать это: curl -fsSL https://www.ollama.com/install.sh | sh
.
Ответ или решение
Установка llama.cpp из официального репозитория GitHub на локальный компьютер – это задача, которая может быть выполнена несколькими способами. Ознакомившись с различными методами, представленными в форумах и документации, мы можем выбрать наиболее подходящий путь для вашего окружения, особенно если у вас Ubuntu. Давайте разберем процесс установки более детализированно и профессионально.
Теория
Проект llama.cpp представляет собой программный интерфейс для работы с моделями больших языковых моделей (LLM), такими как Alpaca и Mistral. Он позволяет загружать и использовать модели, обученные на больших объемах текстовых данных, для автоматизации текстовых задач. Возможность локальной установки LLM дает вам больше контроля над настройками и эксплуатацией моделей, не полагаясь на сторонние сервисы. Это также позволяет лично убедиться в безопасности и конфиденциальности данных, так как все расчеты и обработки происходят на вашей машине.
Пример
Установка llama.cpp может быть выполнена путем загрузки предварительно скомпилированных бинарных файлов или путем самостоятельной сборки. Оба этих метода имеют свои преимущества. Использование бинарников удобно и быстро, но сборка позволяет лучше настроить процесс под вашу систему и потребности.
Применение
Способ 1: Загрузка предварительно скомпилированных бинарников
-
Скачайте бинарники:
- Перейдите к релизам проекта на GitHub.
- Скачайте последнюю версию, совместимую с вашей архитектурой (например,
b4610для x64).
mkdir llama.cpp cd llama.cpp wget https://github.com/ggerganov/llama.cpp/releases/download/b4610/llama-b4610-bin-ubuntu-x64.zip unzip llama-b4610-bin-ubuntu-x64.zip -
Используйте бинарные файлы для запуска:
Перейдите в директориюllama.cpp/build/bin/, где находятся ваши бинарные файлы.
Способ 2: Сборка из исходников
-
Подготовка системы:
Убедитесь, что у вас установлены необходимые пакеты для сборки.sudo apt update sudo apt install build-essential cmake -
Клонирование и сборка:
git clone https://github.com/ggerganov/llama.cpp cd llama.cpp cmake -B build cmake --build build --config Release -
Установка и запуск модели:
Перейдите вllama.cpp/build/bin/, и оттуда вы сможете запускатьllama-cliдля работы с моделями.
Загрузка и использование моделей
-
Скачивание модели с HuggingFace:
Используйте флаг-hfдля автоматического скачивания модели.cd llama.cpp/build/bin/ ./llama-cli -hf ваш_аккаунт/ваша_модель -
Использование своих моделей:
Если уже скачали модель самостоятельно, применяйте флаг-m../llama-cli -m ~/models/ваша_модель
Прочие решения
Наиболее простой путь может включать использование скрипта установки от Ollama:
curl -fsSL https://www.ollama.com/install.sh | shЭто позволяет установить LLM быстро и без лишних усилий. Однако постарайтесь удостовериться, что такие способы безопасны с точки зрения ваших требований к конфиденциальности.
Заключение
Установка llama.cpp на локальную машину предоставляет большие возможности для работы с LLM. Независимо от вашего выбора – загрузка бинарников или компиляция из исходников – вы можете оптимизировать установку под собственные нужды и аппаратные возможности. Помните, что для получения максимальной производительности важно учитывать ограничения по памяти и сопроцессорам, которые могут потребоваться для работы с определенными моделями.