главная / искусственный интеллект / bolshie-yazykovye-modeli
Искусственный интеллект

Большие языковые модели: как работают нейросети, которые пишут тексты

МетрСофта7 мин чтения
Схема нейронной сети из соединённых слоёв узлов на тёмном фоне

Чат-боты, которые отвечают на вопросы, пишут тексты и помогают с кодом, построены на больших языковых моделях. За ними стоит сложная математика, но принцип работы можно объяснить простыми словами. Понимание этого принципа помогает использовать нейросети эффективнее и не удивляться, когда они ошибаются.

# Что такое большая языковая модель

Большая языковая модель, или LLM, — это нейросеть, обученная на огромном количестве текстов предсказывать, какое слово или фрагмент слова логично идёт следующим. Слово «большая» относится к количеству параметров — внутренних чисел, которые настраиваются во время обучения. Их бывают миллиарды и сотни миллиардов. Параметры хранят «знания» модели: закономерности языка, факты, стили, логику рассуждений.

Важно понимать, что модель не хранит тексты как энциклопедию и не ищет в них ответ. Она запоминает статистические связи между словами и понятиями и на их основе строит новый текст. Поэтому ответы получаются связными и часто полезными, но не гарантированно точными.

# Токены: как модель «видит» текст

Нейросеть не работает со словами напрямую. Сначала текст разбивается на токены — небольшие фрагменты: слово целиком, часть слова или знак препинания. Например, длинное слово может быть разбито на два-три токена, а короткое составит один. Каждому токену соответствует число, и именно с числами работает модель.

От токенов зависят две практические вещи. Первая — объём запроса и ответа: модели ограничены по числу токенов, которые они могут обработать за раз. Вторая — стоимость: сервисы, продающие доступ к моделям, часто считают плату за токены. Русский язык при этом обычно требует больше токенов на то же количество смысла, чем английский.

# Архитектура трансформера

Современные языковые модели построены на архитектуре трансформера. Её главная идея — механизм внимания. Он позволяет модели при обработке каждого токена оценивать, какие другие токены в тексте важны для понимания. В предложении «Кошка не поймала мышь, потому что она была слишком быстрой» внимание помогает связать «она» с правильным существительным по смыслу всего контекста.

Схема из четырёх этапов обработки запроса языковой моделью: текст, токены, вычисления, генерация
Модель не «ищет ответ в базе», а шаг за шагом достраивает текст.

Процесс генерации идёт по кругу: модель получает запрос, вычисляет вероятности для следующего токена, выбирает один (с учётом настроек случайности), добавляет его к тексту и повторяет шаг. Так возникает ответ, символ за символом. Параметр, который часто называют «температурой», управляет тем, насколько смело модель выбирает менее вероятные варианты: низкая температура даёт предсказуемый текст, высокая — более разнообразный и рискованный.

# Как обучают модели

Создание модели состоит из нескольких этапов.

Таймлайн из четырёх этапов создания языковой модели от сбора данных до оценки людьми
Каждый этап добавляет моделям новые навыки и ограничения.

Предобучение. Модель читает огромные массивы текстов и учится предсказывать следующий токен. Этап требует тысяч мощных ускорителей и недель или месяцев работы. После него модель знает язык и многое о мире, но ведёт себя как «продолжатель текста»: на вопрос она может ответить новым вопросом.

Дообучение. Модели показывают примеры того, как должен выглядеть хороший ответ ассистента на запрос пользователя. Так она учится вести диалог, следовать инструкциям, писать в нужном формате.

Обучение с участием людей. Специалисты сравнивают варианты ответов и отмечают лучшие. Эти оценки используются, чтобы настроить модель в сторону полезных, безопасных и вежливых ответов. Именно на этом этапе формируются «характер» и ограничения ассистента.

# Контекстное окно и память

У модели есть контекстное окно — объём текста, который она учитывает при ответе. Это и запрос, и история диалога, и документы, которые вы приложили. Если разговор или документ длиннее окна, ранние части «забываются» или обрезаются. Поэтому в длинных диалогах модель может перестать помнить договорённости из начала.

Важно отличать контекст от обучения. То, что вы рассказали модели в диалоге, не меняет её параметры. В следующем диалоге она «не знает» вас, пока сервис специально не сохраняет заметки о вас и не добавляет их в запрос.

# Почему модели ошибаются

Самая известная проблема — галлюцинации: модель уверенно выдаёт неверные факты, придумывает ссылки, цитаты и несуществующие функции в коде. Причина проста: она обучена строить правдоподобный текст, а не проверять истинность. Если нужных знаний не хватает, она достраивает ответ так, как это сделали бы тексты из её обучения.

Другие типичные ограничения: слабая точность в многозначных вычислениях, путаница в датах и имена редких людей, устаревшие сведения после даты окончания обучения, зависимость ответа от формулировки запроса. Чтобы снизить риск, просите модель приводить источники и проверяйте их, давайте ей документы для опоры и разделяйте большие задачи на шаги.

Две колонки: что языковые модели делают хорошо и где результат нужно проверять
Относитесь к ответу как к черновику, который требует проверки.

# Как повысить качество ответов

Качество результата определяется не только моделью. Чёткая постановка задачи, контекст и примеры нужного формата часто дают больший эффект, чем смена модели.

Горизонтальная диаграмма факторов, влияющих на качество ответа языковой модели
Ваш запрос и контекст влияют на результат не меньше, чем сама модель.

Несколько приёмов:

  1. Пишите конкретно. Вместо «расскажи про видеокарты» напишите «объясни, чем отличаются видеокарты с 8 и 16 ГБ памяти для игр в 1440p, в виде таблицы».
  2. Задайте роль и аудиторию. «Объясни как инженер новичку без технической подготовки».
  3. Дайте пример. Покажите образец структуры, и модель повторит стиль.
  4. Разбивайте задачу. Сначала план, потом разделы, потом редактура.
  5. Просите проверить себя. Попросите перечислить допущения и места, где могут быть ошибки.

# Подход с поиском: как модели получают свежие данные

Чтобы ответы опирались на актуальную информацию, к модели подключают поиск или собственную базу документов. Схема называется поиском с генерацией: сначала система находит нужные фрагменты в базе или в интернете, затем добавляет их в запрос, и модель отвечает с опорой на найденное. Такой подход снижает число выдуманных фактов и позволяет работать с внутренними документами компании, не переобучая модель.

# Что дальше: размеры, эффективность и локальный запуск

Исследователи идут сразу в нескольких направлениях. Модели становятся эффективнее: небольшие версии на несколько миллиардов параметров приближаются по качеству к более крупным моделям прошлых лет. Развивается сжатие, или квантование, которое уменьшает требования к памяти. А значит, часть моделей можно запускать на домашнем компьютере. Как это сделать и какое железо нужно, мы разбираем в статье про локальный запуск нейросетей, а о специальных ускорителях в процессорах читайте в материале про NPU и ИИ-компьютеры.

# Мультимодальные модели и инструменты

Первые языковые модели работали только с текстом. Современные системы умеют принимать и изображения, звук, таблицы и документы, а некоторые генерируют картинки и речь. Для этого к языковой части добавляют отдельные модули, которые переводят картинку или звук в представление, понятное модели. Ещё одно направление — использование инструментов: модель может вызвать калькулятор, поиск, базу данных или программу для запуска кода, получить результат и включить его в ответ. Это снижает число ошибок в расчётах и позволяет автоматизировать цепочки действий. При этом ответственность за проверку результата остаётся на человеке: инструмент лишь расширяет возможности модели, но не гарантирует правильность.

# Как выбирать модель или сервис

Единственного лучшего варианта нет: для кода, творческих текстов, анализа документов и разговоров на русском языке лучше подходят разные модели. Сравнивайте их на собственных задачах: возьмите пять-десять типичных запросов и оцените ответы вслепую. Обращайте внимание на качество русского языка, длину контекстного окна, скорость, стоимость, а также на условия обработки данных и доступность сервиса в вашем регионе.

# Безопасность и приватность

Всё, что вы пишете облачному ассистенту, обрабатывается на серверах поставщика. Не передавайте пароли, ключи доступа, конфиденциальные документы и персональные данные третьих лиц, если не уверены в условиях обработки. Для чувствительных задач выбирайте сервисы с понятной политикой или запускайте модель локально.

Чек-лист шести правил безопасной и эффективной работы с ИИ-ассистентом
Простые привычки, которые заметно улучшают результат.

# Частые мифы

  • «Модель понимает, как человек». Она моделирует язык, и результат похож на рассуждение, но механизм иной.
  • «Модель всегда знает правду». Она знает то, что отразилось в обучающих текстах, и может ошибаться.
  • «Чем длиннее ответ, тем он лучше». Нередко краткий ответ точнее.
  • «ИИ заменит всех». Практика показывает, что модели помогают ускорять рутину, а решения и ответственность остаются за человеком.

# Итоги

Большая языковая модель — это нейросеть, которая научилась продолжать текст так, что получается осмысленный ответ. Она работает с токенами, использует механизм внимания, обучается в несколько этапов и ограничена контекстным окном. Лучше всего она подходит для черновиков, объяснений и рутины. Факты, расчёты и важные решения нужно проверять. Чем точнее вы формулируете задачу, тем полезнее результат.