Тип публикации: статья из журнала
Год издания: 2026
Ключевые слова: GGUF, QLoRA, quantization, llm, retraining, ollama, квантизация, дообучение
Аннотация: Статья описывает процесс дообучения большой языковой модели на пользовательских данных в условиях ограниченных вычислительных ресурсов. Рассматриваются теоретические основы метода QLoRA, ключевые этапы процесса - подготовка датасета, дообучение, конвертация в формат GGUF и развёртывание через Ollama - а также специфические несовмесПоказать полностьютимости при реализации под Windows. Процесс верифицирован на видеокарте NVIDIA RTX 2070 (8 ГБ VRAM). This article describes the process of retraining a large language model on user-defined data under limited computing resources. It discusses the theoretical foundations of the QLoRA method, key stages of the process - dataset preparation, retraining, conversion to GGUF format, and deployment via Ollama - as well as specific incompatibilities when implementing on Windows. The process was verified on an NVIDIA RTX 2070 graphics card (8 GB VRAM).
Журнал: Научный Лидер
Выпуск журнала: № 15
Номера страниц: 19-21
ISSN журнала: 27133168
Место издания: Тюмень
Издатель: ООО "Международный издательский дом "Ворлдсайпабл"