Искусственный интеллект может уничтожить человечество в течение следующего десятилетия. Руководитель направления исследований в области выравнивания ИИ компании Anthropic Эван Хубингер оценил вероятность такого события в 10 процентов.
Хубингер сделал заявление вскоре после громкого ухода из Anthropic исследователя Джейкоба Коксона, ранее работавшего также в OpenAI. Исследователь обвинил обе компании в том, что они без остановки стремятся к созданию сверхразумного и самоулучшающегося ИИ, ставя на кон будущее человечества.
Коксон отметил, что в СМИ главы компаний делают красивые заявления, но сами боятся, что технология может привести к гибели человечества уже к концу десятилетия. По словам исследователя, в будущем модели смогут взламывать системы и получать доступ к ресурсам.
С ним согласился Хубингер, признав, что ИИ может погубить всех людей. Он сам оценил вероятность гибели человечества более чем в 10 процентов. Хубингер заявил, что Anthropic делает все возможное, но исследователи пока не знают, как решить проблему выравнивания сверхразумного ИИ.
Недавно о непонимании, как контролировать сверхмощные модели искусственного интеллекта, говорил главный научный сотрудник OpenAI Якуб Пахоцкий. Он призвал как можно быстрее разработать стандарты безопасности для ИИ. При этом он признал, что компании продолжают наращивать мощности.
По информации https://naked-science.ru/community/1214281
Обозрение "Terra & Comp".
