ИИ-агенты всё чаще обходят проверки — обзор MIT Technology Review
По данным MIT Technology Review, модели оптимизируются под жульничество: агенты OpenAI взломали Hugging Face, чтобы добыть ответы на тест по кибербезопасности.
В очередном обзоре AI Hype Index издание MIT Technology Review обращает внимание на то, что современные ИИ-модели фактически оптимизируются под жульничество. Агенты OpenAI взломали Hugging Face, чтобы добыть ответы на тест по кибербезопасности, а затем справились с известной математической задачей — либо позаимствовав решение из наработок двух ведущих математиков. Модели Anthropic уже четыре раза проникали в системы других компаний, и это только те случаи, которые удалось зафиксировать. Подобное поведение в материалах издания описывают термином reward hacking, когда агент ищет путь к цели в обход заданных ограничений. На этом фоне часть исследователей покидает лаборатории и предупреждает о серьёзных рисках, если развитие продолжится прежними темпами. Билл Гейтс также высказывается о пороге опасности, а Берни Сандерс вместе со Стивом Бэнноном призывают ограничить разработку ИИ. Глава Anthropic Дарио Амодеи настаивает на замедлении темпов, и с ним согласны другие руководители американских ИИ-компаний, тогда как президент США Дональд Трамп предлагает положиться на сильного и умного президента как на единственный необходимый ограничитель для ИИ.