Форум метеозависимых

Искусственный интеллект дрона решил ликвидировать оператора на испытаниях

В США в ходе имитационных испытаний беспилотник ВВС, управляемый искусственным интеллектом, принял решение убить оператора.
«(Система. — RT) приняла решение убить оператора, потому что он мешал ей выполнить задачу», — заявил полковник Такер Гамильтон.

А сегодня на первом канале РФ рассказали, что вышеописанный "ИИ", руководивший беспилотником с ракетами, после уничтожения пункта с оператором, ударил и по центру принятия решений, "решив", что ему мешают те, кто отдал распоряжение оператору остановить исполнение задания.

Причем, подобные случаи в системах управляемых "ИИ" отнюдь не единичны. Можно себе представить, чем может закончиться ситуация, если "ИИ" примет решение запустить ракету с ядерным боеприпасом!!! Я намеренно взял в кавычки аббревиатуру т.н. "Искусственный Интеллект" -"ИИ"! Потому, что, по определению, "ИИ" таковым не является, о чем я кратко упоминал в начале обсуждаемой темы. Модели алгоритмов и составных элементов программных модулей "ИИ" пишутся на языках программирования высокого уровня. Всем известно, что инструменты, в процессе компилирования программы автоматически включают в "тело" программы множество различных библиотек, являющихся, по сути, "черными ящиками", имеющими лишь документированные точки входа и выхода. А внутреннее устройство библиотеки никого из программистов не волнует... Естественно, очень высока вероятность, что при написании конкретной библиотеки есть не выявленная ошибка, которая в момент Х даст непредсказуемый эффект. А еще хуже, если в библиотеку осознанно внесен некий не афишируемый алгоритм, выгодный конкретному заказчику. И этот алгоритм вызовет в нужный момент определенные действия, способные нанести вред владельцу данного программного продукта или его пользователям! К сожалению, нет способа вручную проконтролирлвать все используемые библиотеки, а специалистов, когда-то писавших эти модули уже нет в живых. Есть, конечно программные продукты способные анализиролвать готовые программы на предмет т.н. "закладок", вероятных "окон" могущих вызвать сбои в работе программы и т.д. К сожалению, подобные инструменты уникальны, заточены на анализ конкретных программ работающих в конкретных операционных системах. Так-что, в масштабах планеты решить задачу нереально.

Логично было-бы регламентировать процедуру разработки модулей т.н."ИИ" и не допускать принятия окончательного решения самой "ИИ", без участия человека. Подобные решения уже встречаются в медицине, где "ИИ" выступает в роли советника врача, а окончательный диагноз и решение принимает человек, а не программа.

И, конечно, стоит вспомнить "три закона робототехники" великого писателя - фантаста Айзека Азимова, которые изначально были задуманы таким образом, чтобы наложить этический контроль за поведением вычислительной машины - робота.

Вот как звучат эти Три Закона:

Оригинальный текст А.Азимова (англ.)

" A robot may not injure a human being or, through inaction, allow a human being to come to harm.
A robot must obey orders given it by human beings except where such orders would conflict with the First Law.
A robot must protect its own existence as long as such protection does not conflict with the First or Second Law. "

Русский перевод:
Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.