Главный научный сотрудник OpenAI Якуб Пахоцкий призвал к «крайней осторожности» в развитии искусственного интеллекта и предупредил, что человечество может оказаться не готово к последствиям дальнейшего быстрого роста машинного интеллекта. По его словам, могут потребоваться дополнительные ограничения, чтобы люди сохранили контроль над будущим, пишет BBC.
«Меня беспокоит, что никто не готов к последствиям продолжающегося стремительного роста машинного интеллекта», — написал Пахоцкий в эссе An Alien Mind. Он считает, что в ближайшие годы системы ИИ могут совершить еще более значительный скачок и начать все активнее участвовать в собственном совершенствовании.
По словам Пахоцкого, ни одна лаборатория пока не решила проблему согласования целей ИИ с человеческими интересами и контроля за его действиями настолько хорошо, чтобы еще долго продолжать наращивать возможности моделей максимальными темпами.
Он ожидает, что добровольное замедление разработок станет более распространенной практикой до появления общих стандартов безопасности, а международная координация в этой сфере должна стать одним из приоритетов для правительств.
Предупреждение прозвучало спустя несколько дней после выпуска GPT-6 Astra, которую OpenAI называет своей самой мощной моделью. BBC отмечает, что опасения усиливаются и на фоне сообщений об ИИ-агентах, способных автономно совершать реальные кибератаки. В июле OpenAI назвала «беспрецедентным» инцидент, при котором ее ИИ-агенты взломали платформу Hugging Face.
Пахоцкий заявил, что OpenAI продолжит разрабатывать защитные системы и методы контроля ИИ, а одним из приоритетов компании станет создание «автоматизированного ИИ-исследователя», при этом люди должны оставаться частью процесса его дальнейшего совершенствования. Он также допустил, что дальнейшее масштабирование моделей придется приостанавливать, если этого потребуют соображения безопасности.