Что такое LLM и как работают большие языковые модели

За последние пару лет LLM превратились из темы для конференций в инструмент, который стоит на рабочей машине почти у каждого разработчика. При этом внутренняя механика для большинства остаётся чёрным ящиком: работает — и хорошо.

Проблема в том, что без понимания механики трудно объяснить две вещи. Почему модель уверенно выдаёт несуществующую функцию из библиотеки, которую вы используете десять лет. И почему один и тот же вопрос, заданный по-разному, даёт результат разного качества.

Разберём по порядку: что такое большие языковые модели, как они обучаются, как формируют ответ, какие задачи закрывают, где ошибаются и как всё это применяется к программному коду. Без формул и погружения в архитектуру глубже необходимого.

Сразу отметим главное: большие языковые модели лежат в основе чат-ботов, AI-ассистентов, AI-агентов и инструментов для программирования — от автодополнения в редакторе до сред, которые правят проект целиком.

Что такое LLM простыми словами

Аббревиатура LLM расшифровывается как Large Language Model — большая языковая модель. Это нейронная сеть, обученная на очень больших (нередко на полном архиве Интернета) объёмах текстовых данных и программного кода, которая умеет продолжать последовательность: получает на вход фрагмент и рассчитывает, что должно идти дальше.

Разберём определение по частям.

«Большая» — про масштаб сразу в двух смыслах: объём обучающих данных и количество параметров, то есть внутренних настраиваемых чисел модели. количество параметров может измеряться миллиардами и десятками или сотнями миллиардов, в зависимости от модели и архитектуры.

«Языковая» — модель работает с человеческим языком в широком смысле: естественный текст, программный код, разметка, структурированные форматы вроде JSON.

«Модель» — это не программа с прописанными правилами. Никто не задавал ей грамматику или синтаксис Python вручную; закономерности выявлены из данных в процессе обучения.

С точки зрения классификации LLM — это подраздел машинного обучения, построенный на нейронных сетях и относящийся к области обработки естественного языка. Генеративные LLM — те, что создают новый контент, а не просто классифицируют готовый, — составляют основу того, что называют генеративным искусственным интеллектом.

Важный момент, который стоит зафиксировать сразу: LLM не является поисковой системой и не хранит базу готовых ответов. Модель не ищет подходящую формулировку в архиве — она её вычисляет заново при каждом запросе. Отсюда растут и главные её достоинства, и главные проблемы.

Основные виды языковых моделей и примеры

Классифицировать модели LLM можно по нескольким осям сразу.

По назначению. Универсальные решают широкий спектр задач; специализированные затачиваются под домен — код, медицину, юридические документы.

По способу доступа. Облачные работают через API на серверах провайдера. Локальные модели запускаются на вашем железе — медленнее и слабее, если у вас не ферма дата-центров уровня OpenA. Зато данные гарантированно не покидают периметр.

По открытости. Закрытые доступны только через API. Модели с открытыми весами можно скачать, запустить у себя и дообучить.

По типу данных. Текстовые работают со словами и кодом. Мультимодальные модели дополнительно принимают изображения, аудио, иногда видео.

Из известных примеров: GPT от OpenAI, Claude от Anthropic, Gemini от Google, а также семейства с открытыми весами — Llama, DeepSeek, Qwen, GLM. Российские разработки тоже есть: GigaChat и YandexGPT. Сравнивать их здесь не будем — рынок меняется быстрее, чем успевают устаревать обзоры.

Как устроена большая языковая модель

Чтобы понять поведение модели, достаточно разобраться в пяти вещах: токены, эмбеддинги, архитектура Transformer, параметры и контекстное окно.

Токены и токенизация

Модель не работает с буквами и словами напрямую. Перед обработкой текст и программный код проходят токенизацию — разбиение на токены, элементарные единицы, каждой из которых соответствует свой номер в словаре модели.

Токеном может быть слово, часть слова, отдельный символ или фрагмент программного кода. Частые слова обычно занимают один токен целиком, редкие разбиваются на куски. Знаки препинания, пробелы и переносы строк тоже считаются.

Грубая прикидка для оценки объёма: один токен — примерно четыре символа английского текста. С русским хуже: кириллица в большинстве токенизаторов дробится мельче, и один и тот же смысл на русском стоит заметно больше токенов, чем на английском. Для кода счёт свой: отступы, скобки и служебные символы съедают приличную долю.

Дальше каждый токен превращается в эмбеддинг — вектор чисел, положение которого отражает смысл. Токены, встречающиеся в похожих контекстах, оказываются в этом пространстве рядом. Именно поэтому модель понимает, что «функция» и «метод» связаны, хотя это разные слова. На генерируемый контент также влияют такие параметры, как заранее настроенные веса модели, декодирование, архитектура LLM и др.

Практический вывод из этого раздела: и лимиты, и стоимость работы с моделью считаются в токенах, а не в символах или словах.

Transformer и механизм внимания

Большинство современных генеративных LLM построено на архитектуре Transformer или её модификациях. Она появилась в 2017 году и вытеснила предшественников по одной причине — механизму внимания.

Идея такая. При обработке каждого токена модель оценивает, насколько для него важен каждый другой токен в доступном контексте, и взвешивает их соответственно. Механизм внимания помогает учитывать связи между токенами независимо от расстояния между ними.

На практике это выглядит так: в строке user.save() модель, обрабатывая save, «оглядывается» на user, а через него — на объявление класса двумя сотнями строк выше. Модели предыдущих поколений теряли такие связи; Transformer видит весь контекст одновременно.

Вторая важная особенность архитектуры — параллельность вычислений. Именно она сделала возможным обучение на действительно больших объёмах данных, а значит, и сами большие модели.

Параметры модели и контекстное окно

Параметры — это те самые числовые коэффициенты внутри нейронной сети, которые настраиваются при обучении. В них и закрепляется всё, что модель «знает». Больше параметров — обычно выше способность улавливать сложные закономерности, но и дороже обучение с инференсом. Прямой пропорции между размером и качеством давно нет: архитектура и качество данных решают не меньше.

Контекстное окно — максимальный объём информации в токенах, который модель может учитывать при формировании ответа. Сюда входит всё: системная инструкция, история диалога, приложенные файлы, фрагменты кода и сам ответ, который модель генерирует.

К середине 2026 года у флагманских моделей контекстное окно составляет около миллиона токенов, у моделей попроще — 128–256 тысяч. Цифры внушительные, но с оговоркой: заявленный максимум и объём, который модель реально удерживает без потери качества, — разные величины.

Что происходит при переполнении: старые части диалога вытесняются, и модель просто перестаёт их видеть. Отсюда типичная ситуация, когда в длинной сессии ассистент «забывает» договорённость из начала разговора. Это не сбой, а прямое следствие того, что контекстное окно LLM конечно.

Как обучаются LLM

Обучение LLM — многоэтапный процесс, и упрощённо цепочка выглядит так: обучающие данные → токенизация → обучение → настройка параметров модели.

Сбор и подготовка данных. В корпус попадают веб-страницы, книги, документация, научные статьи, публичные репозитории с кодом. Данные чистят от дублей и мусора, фильтруют по качеству.

Токенизация. Весь корпус переводится в последовательности токенов.

Предобучение. Модели показывают фрагмент и просят предсказать следующий токен. Она даёт вариант, система сравнивает с правильным ответом, считает величину ошибки и корректирует параметры так, чтобы в следующий раз ошибиться меньше. Повторить триллионы раз. Никакой разметки от людей на этом этапе не нужно — правильный ответ уже содержится в самом тексте, и именно поэтому обучение удалось масштабировать до таких объёмов.

Дообучение. После предобучения модель умеет продолжать текст, но не умеет вести себя как ассистент. За это отвечает дополнительное обучение: следование инструкциям, обучение с обратной связью от человека, настройка на безопасность и полезность ответов.

Ключевой вывод из всей цепочки: состав и качество обучающих данных напрямую определяют возможности, знания, ограничения и ошибки модели. Если в корпусе мало кода на редком языке — модель будет на нём слабее. Если в данных были распространённые заблуждения — они воспроизведутся в ответах.

Есть и другой немаловажный момент: в параметрах модели могут отсутствовать более свежие сведения, приложение может дополнять их поиском, RAG и внешними источниками.

Как модель формирует ответ

Здесь работает вторая цепочка: запрос и контекст → токенизация → последовательное прогнозирование токенов → формирование ответа → проверка результата пользователем.

Промпт задаёт задачу, контекст, ограничения и формат результата. Это не просто вопрос, а вся вводная: что нужно сделать, на каких данных, чего избегать, в каком виде выдать результат. Плюс всё, что приложено — файлы, фрагменты кода, история переписки.

Дальше запрос токенизируется, прогоняется через сеть, и модель рассчитывает вероятности возможных следующих токенов. Не один вариант, а распределение по всему словарю: у одного токена вероятность 60%, у другого 15%, у третьего доли процента. Из этого распределения выбирается токен — с элементом случайности, степень которой регулируется параметром температуры.

Выбранный токен добавляется к последовательности, и всё повторяется для следующего. LLM последовательно формирует текст, программный код или другой результат — токен за токеном, пока не решит остановиться или не упрётся в лимит.

Отсюда следуют три вещи, объясняющие поведение моделей на практике:

• Ответ не извлекается из базы, а конструируется заново. Один и тот же вопрос может дать разные формулировки.
• Модель не планирует ответ целиком заранее. Она движется вперёд по одному шагу, опираясь на всё, что уже сгенерировала.
• Качество результата напрямую зависит от того, что попало в контекст. Мусор на входе — мусор на выходе, и никакая модель этого не исправит.

И финальный шаг, который часто выпадает: проверка результата пользователем. Модель не сообщает, насколько уверена в ответе. Уверенный тон одинаков и для верного утверждения, и для выдуманного.

Какие задачи решают большие языковые модели

Спектр применения широкий, но сводится к нескольким типовым сценариям:

• Ответы на вопросы и объяснения. Разобрать незнакомую тему, получить объяснение сложного концепта на нужном уровне детализации.
• Генерация текста. Черновики, описания, письма, документация.
• Редактирование. Правка, сокращение, изменение стиля, приведение к нужному формату.
• Перевод. Между естественными языками и между форматами данных.
• Анализ и структурирование информации. Выделить главное из большого документа, разложить по категориям, собрать таблицу из неструктурированного текста.
• Обработка документов. Извлечение данных из договоров, отчётов, писем.
• Работа с программным кодом. Генерация, объяснение, поиск ошибок, рефакторинг, тесты — подробнее об этом ниже и в отдельном разборе про ИИ для программирования.

Отдельно стоит упомянуть RAG — подход, при котором модель перед ответом получает релевантные фрагменты из внешней базы знаний. Так решается проблема устаревших и отсутствующих знаний: модель работает не по памяти, а по документам, которые ей передали вместе с запросом.

Чем LLM отличается от чат-бота, AI-ассистента и AI-агента

Эти понятия постоянно путают, хотя они находятся на разных уровнях. Чат-бот, AI-ассистент, AI-агент и LLM — связанные, но не равнозначные вещи.

Разница между ассистентом и агентом принципиальна. Ассистент отвечает на запрос — вы применяете результат сами. Агент получает цель и действует: разбивает задачу на шаги, вызывает инструменты, оценивает промежуточный результат и корректирует план. Модель в этой схеме выступает «мозгом», принимающим решения на каждом шаге, а вокруг неё построена вся обвязка. Подробнее этот подход мы разбирали в материале про агентное программирование.

Общее у всех трёх — они могут использовать LLM как основу для решения прикладных задач. Разница в том, сколько всего построено поверх модели.

Как языковые модели используются в программировании

LLM в программировании — сценарий, где модели оказались особенно полезны: код структурнее естественного языка, его корректность можно проверить автоматически, а результат сразу виден.

Основные задачи:

• Генерация кода — от автодополнения строки до функции или модуля по описанию.
• Объяснение — разобраться в чужом коде, легаси, незнакомой библиотеке.
• Поиск и исправление ошибок — по трейсбеку или описанию симптома.
• Рефакторинг — переименования, вынесение логики, приведение к стилю проекта.
• Тесты — покрытие функций, генерация краевых случаев.
• Ревью — предварительная вычитка изменений до того, как их увидят коллеги.

Цепочка здесь такая: задача разработчика → промпт и контекст проекта → генерация, объяснение или изменение кода → проверка результата разработчиком.

Ключевой фактор — контекст. Модель не знает вашей архитектуры, принятых соглашений и того, что функция с похожим именем уже написана в соседнем модуле. Всё это ей нужно передать. И здесь проходит граница между обычным чатом и полноценной средой разработки.

В чате вы копируете фрагмент вручную — модель видит ровно то, что вставили, и предлагает решение в вакууме. AI-IDE может передавать модели код и доступный контекст проекта: структуру файлов, связанные модули, зависимости, историю изменений. Разница особенно заметна на правках, которые задевают несколько файлов сразу. Как устроены такие среды, мы разбирали в обзоре лучшие AI-IDE.

Проверять результат при этом обязательно, и делать это удобнее всего тремя инструментами: diff — посмотреть, что именно изменилось; тесты — убедиться, что ничего не сломалось; code review — оценить решение по существу. Практические сценарии — генерация и исправление кода, ревью, тесты, отладка, рефакторинг — собраны в разделе сценарии использования Kodik.

Ограничения и риски LLM

Понимание ограничений экономит больше времени, чем знание любых приёмов промптинга.

Галлюцинации. Главная проблема. Модель может выдумать функцию, параметр, библиотеку или цитату — и подать это с той же уверенностью, что и достоверный факт. Связный и убедительный ответ модели может содержать фактическую ошибку, и внешне отличить одно от другого невозможно. Причина в механике: модель выбирает вероятное продолжение, а вероятное не означает верное.

Устаревшие знания. Данные обучения обрываются на определённой дате. Всё, что появилось позже — новые версии библиотек, изменившиеся API, свежие уязвимости, — модели неизвестно, если только не передано в контексте.

Ограниченный контекст. Даже миллион токенов конечен, а на длинных входах качество проседает. В длинной сессии начало разговора выпадает из виду.

Зависимость от качества запроса. Расплывчатый промпт даёт расплывчатый результат. Модель не станет уточнять то, о чём вы не сказали, — она заполнит пробелы наиболее вероятными допущениями.

Нестабильность. Один и тот же запрос дважды подряд может дать разные ответы. Для творческих задач это плюс, для воспроизводимых процессов — минус, который приходится компенсировать настройками.

Риск передачи данных. Отдельный пункт, который в командах стоит первым. Отправляя код в облачную модель, вы отправляете туда всё, что в нём есть: исходники, пароли, токены, API-ключи, ссылки на внутреннюю инфраструктуру, персональные данные из тестовых фикстур. Секрет, попавший в запрос, считается скомпрометированным. Здесь помогают инструменты вроде KodikShield — он распознаёт чувствительные данные локально и маскирует их до того, как запрос покинет машину разработчика.

Общий вывод простой: результат работы модели с фактами и кодом необходимо проверять. Модель — сильный инструмент, но ответственность за результат остаётся на человеке.

Как Kodik использует LLM при работе с кодом

Kodik — российская AI-IDE, построенная вокруг идеи, что модели нужен не отдельный фрагмент, а контекст проекта. Языковая модель здесь работает внутри среды: видит структуру файлов, зависимости, связанные модули и историю изменений.

Основные сценарии — генерация, объяснение, проверка и изменение кода. Написать функцию с учётом принятых в проекте соглашений; разобрать легаси и объяснить, что делает модуль; найти причину падения теста; провести рефакторинг, задевающий несколько файлов, и показать понятный diff перед применением.

Две вещи, которые стоит упомянуть отдельно.

KodikRouter отвечает за доступ к моделям: под разные задачи оптимальны разные варианты, и переключение между ними не требует отдельных подписок и ключей у каждого провайдера.

KodikShield закрывает вопрос безопасности: распознаёт секреты, ключи и чувствительные данные до того, как запрос уйдёт в облачную модель.

В Kodik языковые модели используются не только для генерации кода, но и для его объяснения, проверки, исправления и изменения с учётом структуры проекта. Попробовать можно на бесплатном стартовом тарифе — на своём реальном проекте разница между «чатом с моделью» и «моделью, которая видит проект» становится очевидной за первый же вечер.