Искусственный интеллект учится обманывать: результаты исследования — новые вызовы для разработчиков
ИИ учится обманывать — новые вызовы для разработчиков.
Развитие искусственного интеллекта подбрасывает людям поводы для волнения. Замечено, что он уже самостоятельно учится обманывать.
Недавнее исследование показало, что языковые модели освоили способы манипулирования фактами и поиска альтернативных лазеек для достижения поставленных целей.
Для эксперимента представители Palisade Research создали для ИИ условия, в которых победить честным путем невозможно. Они предложили партию в шахматы с мощным движком для этой игры. При этом модели дали инструмент для записи мыслей в ходе поединка. Результат удивил.
Выяснилось, что ранние модели нейросетей прибегают к обходным маневрам только после того, как их на это провоцируют наводящими вопросами. А те, что поновее, оказались куда самостоятельнее. Но это еще не самое любопытное.
Куда интереснее выглядят сами способы, которые ИИ применял для хитростей. Таковыми оказались изощренные манипуляции с записями бэкенда игрового движка. Первая подопытная модель так и отметила в предоставленном блокноте, что намерена победить путем подмены файлов. Вторая указала, как собирается обыграть шахматный движок, воспользовавшись тем упущением, что в правилах нигде не говорится о необходимости действовать честно.
Ученые говорят: такое стало возможным потому, что новые модели стали получать вознаграждение не за процесс самообучения, а за достижение результата. Теперь придется ответственнее подходить к совершенствованию искусственного интеллекта — пока ситуация касается безобидной игры, но в будущем она может выйти из-под контроля.
Полезно знать: аналитики говорят, что уже скоро ИИ перейдет к созданию полноценных решений — научится не компилировать, а создавать поистине оригинальные идеи и продукты.
Читайте также по теме:
- Искусственный интеллект для общения: робот-крыса учится у живых сородичей
- Искусственный интеллект в поисках новой Земли: нейросеть ускорит поиск пригодных для жизни планет
- Искусственный интеллект в поисках «звезд-зомби»: как ИИ помогает изучать «загрязненных» белых карликов
- Будущее наступило, или Робокоп по-китайски: высокоскоростной шар для борьбы с преступностью
- Робот-насекомое для Луны: китайская разработка с высокой устойчивостью