I.good V1.1 — 4.5M параметров, обученная на Xeon
I.good V1.1 — это моя первая успешная языковая модель, обученная с нуля. Крошечная (4.5M параметров) Llama-совместимая модель, которая положила начало всей серии I.good.
Это не файнтюн и не LoRA. Это полностью самописный пайплайн: от парсинга диалогов и обучения BPE-токенизатора до конвертации в GGUF. Всё обучение проходило на серверном процессоре Intel Xeon без использования видеокарт.
🎭 Вершина её творчества
На 7000 шаге (уже в версии V1.2) она научилась выдавать великолепные фразы. Но именно здесь, в V1.1, она впервые показала, что умеет строить предложения:
Запрос: <|user|>привет<|assistant|>
Ответ: Да ладно, я тоже хочу вас поздравить! :D
Запрос: <|user|>как дела?<|assistant|>
Ответ: Яндекс - битская серия, вот это и там может быть звезда :]
🏗️ Архитектура
| Параметр | Значение |
|---|---|
| Параметров | 4,522,624 |
| Слоёв (n_layer) | 2 |
| Голов внимания | 4 |
| Размер hidden | 128 |
| Размер MLP | 384 |
| Контекст | 512 токенов |
| Токенизатор | BPE, 32000 токенов |
| Train Loss (финал) | ~5.20 |
📚 Данные и обучение
- Данные: 10 000 русских диалогов (~834 000 токенов).
- Формат:
<|user|>...<|assistant|>...<|endoftext|>. - Железо: Intel Xeon E5-2690 v4 (28 потоков), без GPU.
- Время: ~45 минут.
⚠️ Ограничения (Детские болезни)
4.5M параметров — это очень мало. Модель имеет ряд особенностей:
- Память золотой рыбки. Контекст всего 512 токенов. Она забывает начало диалога к его концу.
- Галлюцинации байтов. Если задать вопрос, на который нет ответа в датасете, она может выдать случайные символы (иврит, иероглифы).
- Путаница ролей. Она часто пишет
<|user|>в своих ответах, так как не понимает, что она — ассистент. - Переобучение. При loss 5.20 она местами заучила диалоги наизусть, поэтому иногда выдает странные фразы про «Яндекс» и «серии».
🛠️ Как использовать (KoboldCPP)
- Скачайте
model.gguf. - Запустите в KoboldCPP (Context 512).
- Обязательно добавьте
<|user|>и<|endoftext|>в Stop Sequences. - Настройки: Temperature 0.3, Repetition Penalty 1.2.
- Промпт:
<|user|>Привет, как дела?<|assistant|>
- Downloads last month
- 127
We're not able to determine the quantization variants.