Компания Anthropic выступила с официальным предостережением: технологии искусственного интеллекта развиваются настолько быстро, что вскоре могут обрести способность к «полному рекурсивному самосовершенствованию» без участия человека. По мнению представителей компании, индустрии необходимо разработать своего рода «тормозную педаль» для предотвращения потери контроля над системами.
Марина Фаваро и Джек Кларк подчеркивают, что прогресс в этой области идет быстрее, чем предполагалось ранее. Основные риски заключаются в следующем:
- возможная утрата контроля над поведением автономных ИИ-систем;
- сложность проверки и верификации действий алгоритмов;
- угроза непредвиденных социальных последствий.
Джек Кларк сравнил текущую ситуацию с поездкой на автомобиле, у которого есть только педаль газа. Он предложил компаниям рассмотреть возможность замедления разработки для изучения рисков и создания механизмов вмешательства. Несмотря на жесткую конкуренцию, эксперты считают возможным сотрудничество между игроками рынка по аналогии с соглашениями о контроле над вооружениями времен Холодной войны.
Источник: Anthropic warns that AI will soon be able to improve itself without human intervention | CNN Business