Das Heidelberger KI-Unternehmen Aleph Alpha hat am 3. Oktober 2026 das zweisprachige Sprachmodell Kolibri-1 veröffentlicht. Das System ist primär auf die deutsche und englische Sprache ausgelegt und steht als sogenanntes Open-Weights-Modell unter der freien Open-Source-Lizenz Apache 2.0 bereit. Veröffentlicht wurde das Modell unter anderem über die Entwicklungsplattform Hugging Face.
Technisch basiert Kolibri-1 auf einer Mixture-of-Experts-Architektur (MoE). Das Gesamtmodell umfasst 78.103.074.560 Parameter, also rund 78,1 Milliarden. Bei MoE-Systemen wird für die Berechnung einzelner Tokens jeweils nur eine Untergruppe der vorhandenen Netzwerkbereiche aktiviert. Im Fall von Kolibri-1 werden pro Token 3.457.573.120 Parameter aktiv berechnet. Dies entspricht rund 3,46 Milliarden Parametern beziehungsweise etwa 4,4 Prozent der gesamten Modellparameter, was den Rechenaufwand während der Inferenz gegenüber dichten Architekturen vergleichbarer Gesamtgröße reduziert.
Die Datenbasis für das Pre-Training umfasste 20 Billionen Tokens eines zweisprachigen Textkorpus. Dabei entfielen rund 62,5 Prozent der Trainingsdaten auf englischsprachige Texte und 23,9 Prozent auf deutschsprachige Inhalte. Weitere 13,6 Prozent des Korpus machten Programmcode aus, um logische und programmiertechnische Fähigkeiten in das Basismodell einzubinden.
An das initiale Pre-Training schlossen sich weitere Trainingsphasen an. Ein nachgelagertes Mid-Training beanspruchte 3,44 Billionen Tokens. Für die gezielte Long-Context-Erweiterung wurden weitere 201 Milliarden Tokens verarbeitet, womit sich der gesamte Trainingsaufwand auf knapp 24 Billionen Tokens summiert. Nach Angaben von Aleph Alpha erfolgte das Modelltraining auf einer Serverinfrastruktur mit 768 Nvidia-B200-Grafikprozessoren, die in Rechenzentren an Standorten in Deutschland und Finnland betrieben wurden.
Hinsichtlich der Verarbeitung langer Textmengen verfügt Kolibri-1 über ein maximales Kontextfenster von bis zu 1.048.576 Tokens, was rund einer Million Tokens entspricht. Für operative Effizienz und eine stabile Ausgabequalität bei anspruchsvollen Aufgaben empfiehlt die Entwicklerdokumentation des Unternehmens jedoch eine Beschränkung auf bis zu 262.144 Tokens.
Für die lokale Bereitstellung und Inferenz müssen Betreiber spezifische Hardwareanforderungen berücksichtigen. In einer 8-Bit-Fließkommapräzision (FP8) liegt der reine Speicherbedarf der Modellgewichte bei rund 78 Gigabyte. Als Mindestvoraussetzung auf Hardwareebene nennt Aleph Alpha den Einsatz von zwei Nvidia-A100-Grafikkarten mit jeweils 80 Gigabyte Speicher oder zwei Nvidia-H100-SXM5-Beschleunigern. Alternativ kann die Ausführung auch über einen einzelnen Prozessor der Typen Nvidia H200, B200 oder B300 erfolgen.
Kolibri-1 verfügt über integrierte Reasoning-Modi, die in vier Stufen konfiguriert werden können, um den Rechenaufwand an die Komplexität logischer Aufgabenstellungen anzupassen. Zudem unterstützt das Modell ein Hermes-kompatibles Tool Calling, wodurch externe Schnittstellen und Softwarewerkzeuge automatisiert aufgerufen werden können. Konzipiert ist Kolibri-1 vor allem für On-Premises-Szenarien, bei denen Software und Daten auf eigener Hardware betrieben werden. Damit richtet sich das Modell an stark regulierte Sektoren wie die öffentliche Verwaltung, Industrieunternehmen und die Luftfahrt, in denen strenge Auflagen an den Datenschutz und die Datensouveränität bestehen.
Auf regulatorischer Ebene verweist Aleph Alpha auf bestehende europäische Vorgaben. Das Unternehmen gehört zu den Unterzeichnern des EU GPAI Code of Practice und hat Kolibri-1 nach eigenen Angaben in Übereinstimmung mit dem EU AI Act sowie der Datenschutz-Grundverordnung (DSGVO) entwickelt.