Ein 295-Milliarden-Modell zum Herunterladen – was Tencents Hy3 für den Eigenbetrieb bedeutet

Am 6. Juli hat der chinesische Konzern Tencent sein Sprachmodell Hy3 veröffentlicht – nicht als Dienst, sondern zum Herunterladen. Die Modellgewichte, also die trainierten Parameter, die das Modell ausmachen, stehen öffentlich zur Verfügung, und zwar unter der Apache-2.0-Lizenz. Die erlaubt kommerzielle Nutzung ohne Rückfrage, ohne Lizenzgebühr und ohne Pflicht, eigene Änderungen offenzulegen. Juristisch ist das ungefähr das Freizügigste, was es gibt.

Für Unternehmen, die aus Datenschutzgründen zögern, Konstruktionsdaten oder Kundenkorrespondenz an einen Cloud-Anbieter zu schicken, ist das erst einmal eine gute Nachricht. Bevor man sie feiert, lohnt ein Blick auf die Technik – und auf die Rechnung.

Was das Modell ist

Hy3 hat 295 Milliarden Parameter, aber es aktiviert pro Anfrage nur 21 Milliarden davon. Das ist der Trick einer Architektur namens Mixture-of-Experts: Das Modell besteht aus vielen spezialisierten Teilnetzen, und für jede Anfrage wird nur eine Handvoll davon befragt. Der Rechenaufwand pro Antwort sinkt dadurch dramatisch – der Speicherbedarf allerdings nicht, denn vorhalten muss man trotzdem alle Experten.

Das Kontextfenster – die Menge an Text, die das Modell in einer Anfrage gleichzeitig überblicken kann – liegt bei 256.000 Token, grob 400 bis 500 Seiten. Ein vollständiges Lastenheft samt Anhängen passt also hinein. Tencent liefert zusätzlich eine sogenannte FP8-Variante, eine Version mit reduzierter Rechengenauigkeit, die den Speicherbedarf ungefähr halbiert, ohne die Qualität nennenswert zu senken.

Der Haken steht in der Dokumentation

Zum Selbstbetrieb empfiehlt Tencent acht GPUs vom Kaliber einer H20-3e oder größer. Das ist kein Serverschrank für ein paar tausend Euro, sondern eine Anschaffung im hohen fünf- bis sechsstelligen Bereich, dazu Strom, Kühlung, Wartung und – der teuerste Posten – Personal, das eine solche Installation betreiben kann.

Damit ist die Rechnung nicht automatisch schlecht, aber sie ist eine Rechnung. Der entscheidende Faktor ist die Auslastung: Wer die Hardware acht Stunden am Tag mit echten Anfragen füllt, kommt schnell auf einen Punkt, an dem der Eigenbetrieb günstiger ist als die API-Rechnung. Wer sie zu zehn Prozent auslastet, zahlt für Leerlauf. Die verbreitete Annahme „eigenes Modell = billiger" stimmt genau dann, wenn Volumen da ist – und sonst nicht.

Was dafür und was dagegen spricht

Dafür spricht vor allem Kontrolle. Die Daten verlassen das Haus nicht, es gibt keine Tokenrechnung, die mit der Nutzung wächst, und niemand kann das Modell abschalten. Wer schon einmal erlebt hat, wie ein Anbieter ein Modell in den Ruhestand schickt und man seine Prompts neu bauen darf, weiß den Wert einer eingefrorenen Version zu schätzen.

Dagegen spricht der Betriebsaufwand, und der wird regelmäßig unterschätzt. Ein Modell im eigenen Haus zu betreiben, heißt: Es aktuell halten, absichern, überwachen, bei Lastspitzen skalieren. Hinzu kommt, dass Hy3 nicht in jeder Disziplin führend ist – beim Programmieren liegt das ebenfalls offene Modell GLM-5.2 laut den Vergleichen, die Tencent selbst veröffentlicht hat, deutlich vorn. Und offene Gewichte bedeuten nicht offenes Training: Womit das Modell trainiert wurde, legt Tencent nicht offen. Wer strenge Anforderungen an die Nachvollziehbarkeit der Trainingsdaten hat, bekommt sie hier nicht erfüllt.

Die eigentliche Bedeutung

Für die meisten mittelständischen Betriebe ist ein 295-Milliarden-Modell im eigenen Serverraum heute nicht die naheliegende Antwort. Der Aufwand steht selten im Verhältnis zum Nutzen, und die ehrliche Empfehlung lautet meist: erst den Anwendungsfall belastbar machen, dann über die Infrastruktur reden.

Interessanter ist, was solche Veröffentlichungen mit dem Markt machen. Jedes Spitzenmodell, das frei verfügbar wird, setzt die Preise der kommerziellen Anbieter unter Druck – und es verschiebt die Verhandlungsposition. Die Frage „Was kostet uns der Wechsel?" hat eine andere Qualität, wenn eine ernstzunehmende Alternative zum Nulltarif auf einem Server liegt. Genau das ist der Punkt, an dem Hy3 auch für Unternehmen relevant wird, die nie vorhaben, es selbst zu betreiben.