Der neue CEO-Bench, entwickelt von Forschern der Princeton University, testet erstmals, wie sich KI-Agenten als CEO eines fiktiven Unternehmens bewähren. Der Test gilt als bestanden, wenn nach 500 Tagen mehr als der Startbetrag von einer Million Dollar in der Kasse ist. Das schafften nur 3 von...
Eine Studie von Forschern der Carnegie Mellon University und der Stanford University hat untersucht, inwiefern die Testaufgaben in Benchmarks für KI-Agenten den Aufgaben entsprechen, die sich aus realen Arbeitssituationen ergeben.
SWE-bench Verified war lange ein führender KI-Benchmark, der die Leistung der Modelle beim autonomen Programmieren messen sollte. Nun erklärt Anthropic den Benchmark für nicht länger verwendbar und empfiehlt stattdessen SWE-bench Pro.
Forscher der École Polytechnique Fédérale de Lausanne, des Tübinger ELLIS Institute, des Max-Planck-Instituts für Intelligente Systeme und des Tübinger AI Center haben einen Benchmark entwickelt, der Halluzinationen von Sprachmodellen misst.
Fehler in KI-Benchmarks sind nicht ungewöhnlich, können aber die Bewertungen verzerren. Forscher der Universität Stanford haben nun ein Framework entwickelt, das mit messtheoretischen Methoden falsche Fragen und Antworten in KI-Benchmarks mit einer Genauigkeit von 84 Prozent findet.
Forscher von Salesforce AI Research haben mit MCP-Universe einen neuen Benchmark entwickelt, der die Leistung von KI-Agenten besser beurteilen soll als bestehende Ansätze. Selbst Top-Modelle zeigen bei dieser Prüfung deutliche Schwächen.
Mozilla hat im Rahmen der Veröffentlichung von Llamafile 0.9.2 mit LocalScore auch eine erste Version des Benchmarks für lokale KI vorgestellt.
Ein kürzlich veröffentlichter neuer Benchmark unter dem Titel "Humanity's Last Exam" lässt alle heutigen Sprachmodelle verzweifeln. Selbst Spitzenmodelle wie GPT-4o lösen weniger als 10 Prozent der Aufgaben. Benchnmarks für große Sprachmodelle gibt es in großer Zahl. Allerdings sind die...
Die Leistungsfähigkeit von Computern und Hardwarekomponenten spielt im Betrieb eine wichtige Rolle. Benchmark-Anwendungen spüren Flaschenhälse auf und zeigen, wie Sie dem Rechner wieder auf die Sprünge helfen.
Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat den Mindeststandard zum HV-Benchmark kompakt 5.0 in der neuen Version 2.0 veröffentlicht.
Die 58. Ausgabe der Top-500-Liste der leistungsfähigsten Supercomputer sieht wenig Ä’nderungen. Bei den Spitzenplätzen gelingt es lediglich Microsoft, sich mit einem Azure-System auf Rang zehn zu platzieren.
Aus einem Algorithmus kann schnell ein Benchmark werden. Im vorliegenden Fall dient ein Rezept zum Sortieren zwei Programmiermodellen als Messlatte: Objektorientiert versus funktional.
Die Open Source Security Foundation (OpenSSF) hat bei der jüngst beendeten Black Hat Europe eine neue Initiative für mehr Sicherheit im Code vorgestellt: Den OpenSSF CVE Benchmark.
Benchmark-Werkzeuge helfen Linux-Admins dabei, Probleme mit Massenspeicher genauer und früher zu erkennen. Mit ihrer Hilfe diagnostizieren sie Engpässe und machen Systeme fit für bestimmte Einsatzbereiche. Die aktuelle Bitparade schaut auf gängige Messtools, die HDDs und SSDs untersuchen.
