Ocean-9B — OceanLabs

Dieses Repository ist ein ausführbares Forschungs- und Deployment-Scaffold für ein neues, dichtes 9B-Sprachmodell von OceanLabs sowie den passenden Hugging-Face-Test-Space.

Wichtig: Ein Modell ist erst dann „auf Top-Benchmarks“, wenn es trainiert/evaluiert und die Ergebnisse reproduzierbar veröffentlicht wurden. Dieses Projekt behauptet keine ungeprüften Benchmark-Siege.

Ziel

• Decoder-only Transformer, ca. 9B Parameter
• Deutsch/Englisch und weitere Sprachen
• GQA, RoPE, BF16, 131k Kontext im ersten Release
• Training in Stufen: Continued pretraining → SFT → Preference/RL → unabhängige Evaluation
• Space mit Chat, Reasoning-Schalter, Temperatur/Top-p und optionalem Modellwechsel

Architekturentwurf

Die Datei training/config.json ist ein Startpunkt für einen echten Pretrain/continued-pretrain-Lauf. Die Parameterzahl ist eine Näherung; sie muss nach der finalen Implementierung mit eval/estimate_params.py und aus dem erzeugten Checkpoint verifiziert werden.

Empfohlener Ablauf

1. Base-Checkpoint und Datenrechte festlegen.
2. HF Dataset-Repos mit Datenkarte, Lizenz und Deduplikationsbericht anlegen.
3. Continued pretraining mit FSDP/DeepSpeed auf Ocean Labs Compute/HF Jobs durchführen.
4. SFT und Präferenztraining auf getrennten, versionierten Datensätzen durchführen.
5. eval/run_benchmarks.py gegen Baselines und mehrere Seeds ausführen.
6. Erst danach den finalen Checkpoint und den Space unter OceanLabs/Ocean-9B und OceanLabs/Ocean-9B-Demo veröffentlichen.

Lokaler Space-Test

cd space
pip install -r requirements.txt
MODEL_ID=OceanLabs/Ocean-9B python app.py

Der Space lädt standardmäßig OceanLabs/Ocean-9B. Für Entwicklung kann MODEL_ID auf ein kompatibles Modell gesetzt werden.