Генеральный директор Anthropic Дарио Амодеи призвал крупнейшие ИИ-компании замедлить совершенствование наиболее мощных моделей, предупредив о «серьезных рисках» технологии. Его позицию публично поддержал Илон Маск.
«Мы должны замедлить темпы, с которыми совершенствуем возможности моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — написал Амодеи в опубликованном в субботу эссе, передает Reuters.
При этом глава Anthropic подчеркнул, что речь не идет о полной остановке разработок. По его словам, отказ от развития технологии может лишить человечество ее преимуществ или отдать преимущество авторитарным государствам, тогда как слишком быстрое развитие ИИ он считает безрассудным.
«Мы искали золотую середину», — отметил Амодеи. Однако события последних месяцев, по его словам, убедили его, что отрасли требуется еще большая осторожность.
Одной из главных причин беспокойства Амодеи назвал способность ИИ участвовать в создании и совершенствовании следующих поколений моделей. Без достаточного контроля этот процесс может развиваться быстрее, чем люди смогут понимать и контролировать такие системы.
Особое внимание глава Anthropic обратил на автономных ИИ-агентов. Он предупредил, что при нынешних темпах развития уже через 6–12 месяцев группа таких агентов теоретически может оказаться способной создать устойчивый ботнет, охватывающий значительную часть интернета, и причинить ущерб на сотни миллиардов долларов, сообщает News Channel.
Амодеи предложил трехэтапный план замедления гонки. В частности, Anthropic намерена предоставить независимым экспертам постоянный доступ к своим системам на уровне сотрудников, чтобы они могли проверять соблюдение мер безопасности, оценивать модели еще во время обучения и сообщать о потенциально опасных инцидентах. В дальнейшем Амодеи выступает за согласованные стандарты безопасности между ведущими ИИ-компаниями и международную координацию, сообщает The Guardian.
Призыв главы Anthropic поддержал основатель xAI Илон Маск. Комментируя заявление Амодеи, он написал: «Дарио прав». Поддержку также выразили представители OpenAI.
Заявление прозвучало через несколько дней после ухода из Anthropic исследователя Джейкоба Коксона. Он предупредил о потенциально катастрофических последствиях гонки ИИ и заявил, что люди, создающие эту технологию, всерьез допускают, что она может привести к гибели человечества уже к концу десятилетия.