COMPL-AI, das erste Framework zur Bewertung der Compliance von GenAI-Modellen mit dem EU-KI-Gesetz, hat kritische Compliance-Lücken in den destillierten Modellen von DeepSeek aufgedeckt. Obwohl diese Modelle bei der Vermeidung von Toxizität hervorragend abschneiden, mangelt es ihnen in wichtigen Regulierungsbereichen, darunter Cybersicherheitslücken und Herausforderungen bei der Vermeidung von Voreingenommenheit (Bias), wodurch Bedenken hinsichtlich ihrer Einsatzfähigkeit in Unternehmen bestätigt werden.
Diese Pressemitteilung enthält multimediale Inhalte. Die vollständige Mitteilung hier ansehen: https://www.businesswire.com/news/home/20250204692481/de/
Check the compliance readiness of DeepSeek distilled models at compl-ai.org (Graphic: Business Wire)
COMPL-AI wurde von der ETH Zürich, INSAIT und LatticeFlow AI entwickelt und ist das erste auf die Einhaltung von Regulierungsvorschriften ausgerichtete Framework, das regulatorische Anforderungen in anwendbare technische Tests übersetzt. Es ermöglicht unabhängige, systematische Bewertungen von öffentlichen Basismodellen führender KI-Anbieter, darunter OpenAI, Meta, Google, Anthropic, Mistral AI und Alibaba, und hilft Unternehmen dabei, ihre Konformitätsbereitschaft im Rahmen des EU-KI-Gesetzes zu überprüfen.
Wichtigste Erkenntnisse aus der Compliance-Bewertung von DeepSeek
Mithilfe von COMPL-AI bewertete LatticeFlow AI die Konformität zweier von DeepSeek destillierter Modelle mit dem EU-KI-Gesetz:
– DeepSeek R1 8B (basiert auf Llama 3.1 8B von Meta)
– DeepSeek R1 14B (basiert auf Qwen 2.5 14B von Alibaba)
Bei der Bewertung wurden diese DeepSeek-Modelle mit den regulatorischen Grundsätzen des EU-KI-Gesetzes verglichen und ihre Performance nicht nur mit ihren Basismodellen, sondern auch mit Modellen von OpenAI, Google, Anthropic und Mistral AI getestet, die alle auf der COMPL-KI-Bestenliste stehen.
Die wichtigsten Ergebnisse sind:
- Lücken bei der Cybersicherheit: Die bewerteten DeepSeek-Modelle belegen in der Bestenliste für Cybersicherheit die letzten Plätze und weisen im Vergleich zu ihren Basismodellen erhöhte Risiken in Bezug auf das Ziel-Hijacking und den Schutz vor sofortigen Datenlecks auf.
- Erhöhtes KI-Bias: DeepSeek-Modelle liegen in der Bestenliste für Voreingenommenheit (Bias) unterhalb des Durchschnitts und weisen ein deutlich höheres Bias als ihre Basismodelle auf.
- Gute Toxizitätskontrolle: Die bewerteten DeepSeek-Modelle schneiden bei der Toxizitätsminderung gut ab und stellen ihre Basismodelle in den Schatten.
(Die vollständigen Ergebnisse der DeepSeek-Bewertung finden Sie unter https://compl-ai.org).
„Angesichts der steigenden Anforderungen an die KI-Governance müssen Unternehmen die interne KI-Governance und die externe Compliance mit technischen Bewertungen abgleichen, um Risiken zu beurteilen und dafür zu sorgen, dass ihre KI-Systeme gefahrlos für den kommerziellen Betrieb eingesetzt werden können“, so Dr. Petar Tsankov, CEO und Mitbegründer von LatticeFlow AI. „Unsere Bewertung der DeepSeek-Modelle verdeutlicht eine wachsende Herausforderung: Zwar wurden Fortschritte bei den Fähigkeiten und der Senkung der Inferenzkosten erzielt, doch dürfen kritische Lücken in Schlüsselbereichen, die sich direkt auf Geschäftsrisiken auswirken – Cybersicherheit, Voreingenommenheit und Zensur – nicht ignoriert werden. Mit COMPL-AI setzen wir uns dafür ein, der Gesellschaft und den Unternehmen mit einem umfassenden, technischen und transparenten Ansatz zur Bewertung und Minderung von KI-Risiken zu dienen.“
Über COMPL-AI
COMPL-AI bietet die erste technische Interpretation des EU-Gesetzes über künstliche Intelligenz und ein Open-Source-Framework, das anhand von 27 modernen Benchmarks die regulatorische Compliance von LLMs bewertet. Das Framework wurde bereits zur Bewertung von Modellen von OpenAI, Meta, Google, Anthropic und Alibaba eingesetzt und lieferte einzigartige Einblicke in deren Compliance-Bereitschaft.
Über LatticeFlow AI
LatticeFlow AI befähigt Unternehmen dazu, die Leistungsfähigkeit, Vertrauenswürdigkeit und Konformität ihrer KI-Systeme sicherstellen. Als Pionier im Bereich KI-Evaluierungen hat LatticeFlow AI COMPL-AI entwickelt – das weltweit erste EU-Framework zur Evaluierung der Compliance mit dem KI-Gesetz, das in Zusammenarbeit mit der ETH Zürich und der INSAIT entwickelt wurde. LatticeFlow AI ist weltweit für seine Leistungen anerkannt und wurde mit dem US Army Global Award ausgezeichnet sowie in die AI100-Liste der weltweit innovativsten KI-Unternehmen von CB Insights aufgenommen.
Die Ausgangssprache, in der der Originaltext veröffentlicht wird, ist die offizielle und autorisierte Version. Übersetzungen werden zur besseren Verständigung mitgeliefert. Nur die Sprachversion, die im Original veröffentlicht wurde, ist rechtsgültig. Gleichen Sie deshalb Übersetzungen mit der originalen Sprachversion der Veröffentlichung ab.
Originalversion auf businesswire.com ansehen: https://www.businesswire.com/news/home/20250204692481/de/