I.good V1.1 — 4.5M параметров, обученная на Xeon

I.good V1.1 — это моя первая успешная языковая модель, обученная с нуля. Крошечная (4.5M параметров) Llama-совместимая модель, которая положила начало всей серии I.good.

Это не файнтюн и не LoRA. Это полностью самописный пайплайн: от парсинга диалогов и обучения BPE-токенизатора до конвертации в GGUF. Всё обучение проходило на серверном процессоре Intel Xeon без использования видеокарт.

🎭 Вершина её творчества

На 7000 шаге (уже в версии V1.2) она научилась выдавать великолепные фразы. Но именно здесь, в V1.1, она впервые показала, что умеет строить предложения:

Запрос: <|user|>привет<|assistant|> Ответ: Да ладно, я тоже хочу вас поздравить! :D

Запрос: <|user|>как дела?<|assistant|> Ответ: Яндекс - битская серия, вот это и там может быть звезда :]

🏗️ Архитектура

Параметр Значение
Параметров 4,522,624
Слоёв (n_layer) 2
Голов внимания 4
Размер hidden 128
Размер MLP 384
Контекст 512 токенов
Токенизатор BPE, 32000 токенов
Train Loss (финал) ~5.20

📚 Данные и обучение

  • Данные: 10 000 русских диалогов (~834 000 токенов).
  • Формат: <|user|>...<|assistant|>...<|endoftext|>.
  • Железо: Intel Xeon E5-2690 v4 (28 потоков), без GPU.
  • Время: ~45 минут.

⚠️ Ограничения (Детские болезни)

4.5M параметров — это очень мало. Модель имеет ряд особенностей:

  1. Память золотой рыбки. Контекст всего 512 токенов. Она забывает начало диалога к его концу.
  2. Галлюцинации байтов. Если задать вопрос, на который нет ответа в датасете, она может выдать случайные символы (иврит, иероглифы).
  3. Путаница ролей. Она часто пишет <|user|> в своих ответах, так как не понимает, что она — ассистент.
  4. Переобучение. При loss 5.20 она местами заучила диалоги наизусть, поэтому иногда выдает странные фразы про «Яндекс» и «серии».

🛠️ Как использовать (KoboldCPP)

  1. Скачайте model.gguf.
  2. Запустите в KoboldCPP (Context 512).
  3. Обязательно добавьте <|user|> и <|endoftext|> в Stop Sequences.
  4. Настройки: Temperature 0.3, Repetition Penalty 1.2.
  5. Промпт: <|user|>Привет, как дела?<|assistant|>
Downloads last month
127
GGUF
Hardware compatibility
Log In to add your hardware

We're not able to determine the quantization variants.

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support