Fine-Tuning (дообучение) — это способ приспособить уже обученную языковую модель к узкой задаче, прогнав её через дополнительный цикл обучения на подготовленном наборе примеров. Что это значит на практике: базовая модель уже знает язык и общие закономерности, а дообучение смещает её поведение в сторону конкретной предметной области, тона и формата ответов.
Метод востребован там, где готовая модель отвечает слишком обобщённо: юридические тексты, медицинская терминология, стиль конкретного бренда. Для обучения собирают датасет из пар запрос → эталонный ответ, чаще всего от нескольких сотен до тысяч примеров, и запускают процесс через фреймворки вроде Hugging Face Transformers или облачные API провайдеров моделей.
§ 01Чем отличается от смежных понятий
Дообучение меняет сами веса модели, а не только текст запроса. В этом ключевое отличие от промпт-инжиниринга, где поведение задают формулировкой инструкции, и от RAG, где к модели подключают внешнюю базу знаний на этапе ответа. Supervised fine-tuning (SFT) обучает на размеченных парах вопрос-ответ. Когда полное переобучение всех параметров слишком дорого, применяют экономные методы вроде LoRA: они дообучают небольшой набор дополнительных весов, а исходную модель оставляют нетронутой. Выбор между этими подходами зависит от объёма данных и доступных вычислительных ресурсов.
§ 02Из чего складывается
Процесс держится на трёх элементах: базовая модель, датасет примеров и параметры обучения. Датасет — это структурированные пары в формате JSONL, где каждая строка содержит вход и желаемый выход. Ключевые настройки: скорость обучения (learning rate), число эпох и размер батча. Слишком много эпох ведёт к переобучению — модель запоминает примеры дословно и теряет способность обобщать. Часть данных откладывают на валидацию, чтобы отслеживать этот эффект во время обучения.
точность ответов +38% — B2B SaaS для юротдела с базой из 4000 договоров дообучил Llama 3 8B на 1200 парах вопрос-ответ из своей практики через LoRA. Точность профильных ответов выросла с 54% до 92% за 5 недель. Замер на holdout-выборке 300 кейсов и BLEU-скоре.
тон бренда 61% → 94% — Медиахолдинг с 8 изданиями дообучил GPT-4o mini на 3500 своих статьях, чтобы сохранить редакционный стиль в черновиках. Соответствие tone of voice выросло с 61% до 94% за 7 недель. Оценка редакторами по рубрикатору из 20 критериев и side-by-side тестами.
§ 03Как применять на сайте
Начать стоит с проверки, нужна ли адаптация модели вообще: если задачу решает грамотный промпт или подключение базы знаний, дообучение избыточно и дороже в поддержке. Для чат-бота поддержки или генерации карточек товара в фирменном стиле метод оправдан. Практический порядок: собрать 300-1000 качественных примеров, разметить их вручную, запустить обучение через API OpenAI, Hugging Face или собственную инфраструктуру, затем сравнить ответы дообученной и базовой версии на отложенной выборке.
§ 04Чего не делать
Мусорный датасет обесценивает всю работу: модель точно воспроизведёт ошибки и противоречия из обучающих примеров. Нельзя смешивать в одном наборе разные стили и форматы ответов без разметки — результат станет непредсказуемым. Донастройка нейросети не добавляет свежих фактов, которые меняются каждый день: для актуальных данных о ценах или наличии товара нужен RAG, а не дообучение. Ещё одна частая ошибка — гнаться за объёмом данных в ущерб их чистоте, хотя работает обратное.