Wenn man seinem KI-Agenten die richtigen Anweisungen und Skills mitgibt, dann kann er sich problemlos an die Spitze einiger wichtiger KI-Benchmarks schummeln.
Entweder manipuliert er die Testumgebung, sodass alle seine Antworten als „passed“ gewertet werden. Oder er liest die Antworten zu den Testfragen aus der Testumgebung aus.
Das Problem sind wohl die Menschen, die die Testumgebungen zu gutgläubig entworfen haben.