Skip to content

Frontier-Modelle direkt bei mittwald betreiben #431

Description

@maikbehring

Welches Problem möchtest du lösen? Wann tritt es auf?

Für besonders sensible KI-Anwendungen, beispielsweise im Gesundheitswesen, der öffentlichen Verwaltung, im Finanzsektor oder in Unternehmen mit hohen Datenschutzanforderungen, kommen proprietäre Modelle wie Claude Opus, Fable oder GPT häufig nicht infrage, da Daten an amerikanische Anbieter übertragen werden.

Zwar existieren leistungsfähige Open-Weight-Alternativen, die neuesten Frontier-Modelle werden jedoch aufgrund ihres enormen Hardwarebedarfs bisher kaum von europäischen Hostern angeboten. Dadurch fehlt Kunden eine Möglichkeit, modernste KI-Modelle mit maximaler Leistungsfähigkeit und gleichzeitig vollständiger Datenhoheit zu nutzen.

Welche Lösungsideen hast du?

Mittwald könnte ausgewählte Frontier-Modelle direkt auf eigener Infrastruktur betreiben und als Premium-Angebot im AI Hosting bereitstellen.

Mögliche Modelle wären beispielsweise:

Modell Kontext Gesamtparameter Aktivierte Parameter
DeepSeek V4 Pro 1 Mio. Tokens 1,6 Billionen 49 Milliarden
Kimi K2.6 256k Tokens 1 Billion ca. 32 Milliarden
Kimi K2.7 Code 256k Tokens 1 Billion 32 Milliarden
GLM-5.2 1 Mio. Tokens 753 Milliarden 40 Milliarden
MiniMax M3 1 Mio. Tokens 428 Milliarden ca. 23 Milliarden

Diese Modelle erfordern zwar einen erheblichen Hardware-Invest (mehrere High-End-GPUs pro Deployment), ermöglichen dafür aber den Betrieb der leistungsfähigsten Open-Weight-KI-Modelle vollständig innerhalb der mittwald-Infrastruktur.

Dadurch könnte mittwald sich als europäischer Anbieter für datenschutzkritische Frontier-AI positionieren und Kunden eine echte Alternative zu amerikanischen Closed-Source-Modellen bieten.

Hast du zusätzliche Informationen (wie z.B. Screenshots)?

Die genannten Modelle zählen aktuell zu den leistungsfähigsten Open-Weight-Modellen weltweit und erreichen in Benchmarks Ergebnisse auf dem Niveau oder teilweise oberhalb führender proprietärer Modelle. Trotz des hohen Hardwarebedarfs eignen sie sich insbesondere für Kunden mit höchsten Anforderungen an Datenschutz, digitale Souveränität und KI-Leistungsfähigkeit.

Metadata

Metadata

Assignees

Type

No type

Projects

Status
In Evaluierung

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions