главная / искусственный интеллект / lokalnye-neyroseti-na-pk
Искусственный интеллект

Как запустить нейросеть на своём компьютере: железо, квантование и программы

МетрСофта6 мин чтения
Схематичный процессорный чип с контактами на тёмном фоне как символ локального запуска нейросети

Облачные ассистенты удобны, но у них есть минусы: данные уходят на чужие серверы, доступ зависит от подписки и региона, а при отсутствии интернета сервис не работает. Альтернатива — запустить нейросеть на своём компьютере. Сегодня это доступно не только энтузиастам: небольшие и средние языковые модели уверенно работают на обычных игровых ПК. Разберём, что для этого нужно.

# Зачем запускать модели локально

Основные причины три. Приватность: запросы и документы не покидают ваш компьютер, что важно для рабочих материалов и личных данных. Независимость: модель работает без интернета и не зависит от тарифов и ограничений сервиса. Эксперименты: вы можете менять настройки, подключать собственные документы и пробовать разные модели бесплатно.

У локального запуска есть и ограничения. Самые крупные модели требуют серверного железа и недоступны дома. Качество небольших моделей ниже, чем у лучших облачных систем, хотя для многих повседневных задач разрыв невелик. И придётся потратить время на установку и настройку.

# Главный ресурс — память

Для работы модели её параметры должны находиться в быстрой памяти. Объём, который они занимают, можно прикинуть так: число параметров умножить на количество байт на параметр. В исходном виде каждый параметр занимает два байта (16 бит), значит, модель на 7 миллиардов параметров требует около 14 ГБ. Это много для большинства домашних видеокарт.

Выручает квантование — сжатие параметров до меньшей точности. Модель, сжатая до 4 бит на параметр, занимает примерно в четыре раза меньше места, чем исходная, и теряет в качестве умеренно.

Столбчатая диаграмма объёма памяти модели на 7 миллиардов параметров при разной точности
Чем меньше бит на параметр, тем меньше памяти, но выше потери качества.

К памяти на веса нужно прибавить объём на контекст: чем длиннее диалог или документ, тем больше памяти требует так называемый кэш внимания. На практике закладывайте запас в один-три гигабайта сверх размера модели, а для длинных контекстов и больше.

# Видеокарта, процессор или оба сразу

Скорость генерации зависит прежде всего от того, как быстро данные модели перемещаются из памяти в вычислительные блоки. Поэтому видеокарты с быстрой памятью заметно опережают процессоры. Однако у видеокарты ограничен объём, а у системной памяти он большой, но она медленнее.

Три варианта запуска нейросети: на видеокарте, на процессоре и в гибридном режиме
Гибридный режим позволяет запускать модели больше, чем помещается в видеопамять.

Если модель целиком помещается в видеопамять, скорость будет максимальной. Если не помещается, программы умеют разместить часть слоёв на видеокарте, а остальное оставить в оперативной памяти. Скорость при этом падает, но модель запускается. Для компьютеров без дискретной видеокарты подходит запуск на процессоре: небольшие модели работают, хотя и медленно. Об особенностях видеокарт для таких задач читайте в статье про выбор видеокарты, а о специальных ускорителях в новых процессорах — в материале про NPU.

# Что можно запустить на разном железе

Ориентиры помогут прикинуть возможности, хотя точные цифры зависят от модели и программы.

  • 8 ГБ видеопамяти: модели до 7–8 миллиардов параметров в сжатом виде с небольшим контекстом.
  • 12–16 ГБ: модели среднего размера и более длинный контекст, иногда модели около 14 миллиардов в сжатом виде.
  • 24 ГБ и больше: модели в 30 и более миллиардов параметров с квантованием, а также одновременная работа с длинными документами.
  • Без дискретной видеокарты: небольшие модели от одного до нескольких миллиардов параметров на процессоре; для комфорта нужна быстрая оперативная память в двухканальном режиме.

Особняком стоят компьютеры с единой памятью, в которых процессор и графика используют общий пул. Они позволяют загружать крупные модели, если памяти много, хотя пропускная способность памяти остаётся определяющим фактором скорости.

# Форматы и квантование

Модели распространяются в разных форматах. Для запуска на обычных компьютерах популярен формат GGUF: в одном файле хранятся параметры и служебная информация, а имя файла обычно подсказывает уровень квантования. Чем меньше число бит, тем компактнее и быстрее файл, но тем сильнее может пострадать точность ответов.

Практическое правило: четырёхбитное квантование — разумный компромисс для большинства пользователей. Шести- и восьмибитные версии дают качество, близкое к исходному, но занимают больше памяти. Трёхбитные и ниже нужны, когда иначе модель не поместится, и могут заметно ухудшать результат, особенно в точных задачах.

# Чем запускать

Таблица популярных программ для запуска локальных языковых моделей с целевой аудиторией
Начните с программы, у которой есть графический интерфейс.

Для первого знакомства подойдут программы с понятным интерфейсом. Ollama позволяет скачать и запустить модель одной командой, LM Studio предлагает каталог моделей и окно чата. Опытные пользователи обращаются к библиотеке llama.cpp, на которой построены многие другие инструменты: она предоставляет больше настроек и работает на широком наборе устройств. Все эти программы бесплатны, но модели распространяются по разным лицензиям: прочитайте условия, особенно если планируете коммерческое использование.

# Пошаговый запуск

Схема из пяти шагов запуска локальной нейросети: железо, модель, программа, запуск, настройка
Первый запуск удобнее делать с небольшой моделью.
  1. Оцените ресурсы. Узнайте объём видеопамяти и оперативной памяти. Для видеокарт это видно в диспетчере задач или утилите производителя.
  2. Выберите модель. Ориентируйтесь на размер: с запасом по памяти и под вашу задачу, будь то диалог, программирование или работа с текстами.
  3. Установите программу. Скачайте её с официального сайта, обновите драйверы видеокарты.
  4. Загрузите модель. Файлы весят от нескольких до десятков гигабайт, поэтому убедитесь, что хватает места, а лучше используйте быстрый накопитель: подробности в статье про выбор SSD.
  5. Проверьте скорость. Её измеряют в токенах в секунду. Для комфортного чтения достаточно примерно пяти-десяти токенов в секунду, для работы с кодом и длинными ответами приятнее больше.
  6. Настройте параметры. Размер контекста, число слоёв на видеокарте, температуру. Меняйте по одному параметру и сравнивайте результат.
Чек-лист подготовки компьютера к запуску локальной нейросети
Скачивайте модели только из проверенных каталогов.

# Как ускорить и улучшить результат

Закройте программы, потребляющие видеопамять: браузеры с аппаратным ускорением, игры, редакторы. Включите двухканальный режим оперативной памяти и убедитесь, что профиль памяти включён в настройках материнской платы: это заметно влияет на скорость при работе на процессоре. Выбирайте модель, дообученную под ваш язык и задачу: универсальные модели хуже справляются с русским, чем специально настроенные. Для работы с собственными документами подключите поиск по ним: тогда небольшая модель отвечает точнее, опираясь на найденные фрагменты.

# Для каких задач хватает локальной модели

Небольшая модель отлично справляется с рутиной: сокращает и переписывает тексты, исправляет ошибки, делает выжимки из документов, подсказывает названия и заголовки, объясняет код и пишет простые функции, классифицирует и размечает данные. С более сложными задачами — многошаговыми рассуждениями, точными расчётами, редкими фактами — она справляется хуже, и результат нужно проверять. Хороший подход: черновик делает локальная модель, а сложные вопросы вы решаете самостоятельно или с помощью облачных сервисов, не передавая им конфиденциальные данные.

# Электричество, шум и нагрев

Длительная генерация нагружает видеокарту почти так же, как тяжёлая игра. Это значит, что вентиляторы будут шуметь, а потребление вырастет до паспортного значения карты. Для разовых запросов это незаметно, а для постоянной работы стоит позаботиться об охлаждении корпуса и ограничить мощность карты в утилите производителя: потеря скорости при снижении лимита на десять-двадцать процентов обычно невелика, а нагрев и шум снижаются заметно.

# Безопасность

Скачивайте модели только из проверенных каталогов, сверяйте размеры файлов и описание. Помните, что программа и сторонние расширения — это код, который запускается на вашем компьютере. Не открывайте доступ к веб-интерфейсу из интернета без защиты: по умолчанию он должен быть доступен только на вашей машине.

# Частые ошибки

  • Попытка запустить модель, которая не помещается в память. Система начинает использовать диск, и работа становится мучительно медленной.
  • Ожидание качества больших облачных систем. Небольшие модели справляются хуже в сложных задачах.
  • Забытый контекст. Длинный контекст съедает память, и модель «вылетает».
  • Нагрев и шум. Длительная генерация нагружает видеокарту так же, как игра, поэтому следите за температурой.

# Итоги

Локальный запуск нейросетей доступен на обычном игровом компьютере. Главный ресурс — память: оцените, сколько её у вас, выберите модель и уровень квантования, установите удобную программу и начинайте с небольших моделей. Так вы получите приватного ассистента, который работает без интернета и под вашим контролем. Как устроены сами модели, мы рассказывали в статье про большие языковые модели.