Рефлексия и самовопрошание — новые критерии для оценки искусственного интеллекта?

Тема искусственного интеллекта (ИИ) уже прочно стоит в повестке дня при обсуждении перспективных технологических трендов, однако те, кто им пользуется (а это уже большинство людей), как правило, не знают, как он работает и принимает решения. В связи с этим у людей возникают законные опасения и страхи. Визионер Кевин Келли в своем бестселлере «Неизбежно» (“The Inevitable”) пишет — «…нет процесса, который имел бы более стойкие последствия, чем постепенные улучшения простых вещей»[1], чем собственно и занимается ИИ (это далеко не всегда так + у ИИ много других задач). Келли считает, что «Возможно, машины научатся задавать хорошие вопросы в самую последнюю очередь»[2].

Как справедливо пишет Юлия Бродская: “Искусственный интеллект — часть нашего будущего. К сожалению, мы плохо понимаем, как он принимает решения. Что мы можем сделать, чтобы человечество могло больше доверять решениям ИИ? На недавней конференции сообщество разработчиков ИИ приняло решение добавить в рубрику оценки ИИ графу “Рефлексия” (не путать с имеющейся оценкой “самопроверка”). Для успешного взаимодействия с человечеством и уменьшения возможности ошибочных решений искусственный интеллект должен научиться сомневаться и задавать себе вопросы мета-уровня”.

Уже сейчас человеку необходимо уметь взаимодействовать с алгоритмами, умными вещами, программами, а для снижения риска контрпродуктивных решений ИИ нужно научить сомневаться и задавать себе вопросы, впрочем, как и самому человеку.

Комментарий сотрудника РВК Ирины Бородиной.

Это уже давно практикуется. Во-первых, любой системе задаются рамки, за которые она не должна выходить. Во-вторых, самопроверки (которые можно назвать вопросами машины самой к себе) тоже давно закладываются в различные коды. В-третьих, здесь неправильно писать про ИИ в целом, это целая область с разными применениями.

На сегодняшний момент в разработке решений на основе ИИ есть как минимум 3 уровня разработки: технический, продуктовый, системный уровень (уровень системы, куда ИИ планируется встроить).

Уровень 1 — это уровень программистов, перед которыми поставили задачу.

Уровень 2 — это уровень разработчика продукта, который должен его подробно описать и поставить задачи программистам и дизайнерам.

Уровень 3 — это уровень менеджера в компании, который должен встроить ИИ в сумму процессов этой компании, чтобы их улучшить.

Большинство вопросов и непонимания, что делать, как показали доклады на конференции RAIF (проходила 22–23 октября 2019 в рамках Открытых инноваций), возникают на уровне 3, а именно: где в компании может присутствовать ИИ, и как его туда встроить. Это те вопросы, которые современные CDO (chief digital officer) задают себе постоянно в своей работе. И вот здесь есть широкий круг для применения вопрошания и методологии.

Пример: компания, которая занимается заготовкой и транспортировкой леса. Решение на основе ИИ (распознавание образов, техническое зрение) позволяет на основе фото оценить объем леса, который вывозят из точки А и сравнить его с объемом, привозимым в точку Б, что уже значительно позволило сократить объемы воровства между данными пунктами отправки и доставки.

Над описанными выше тремя уровнями есть еще четвертый, о котором думают немногие, а именно, последствия и риски для окружающей компанию экосистемы. Это область деятельности футурологов и визионеров, однако, как показывает практика, сейчас CDO и футурологи практически не соприкасаются. В качестве примеров можно привести (1) изменения на рынке труда, (2) цифровую диктатуру, (3) серьезные изменения основных трендов на некоторых рынках, например, рынке рекламы, (4) банальную опасность, что разрабатываемая технология может найти себе применение в военной технике и, образно говоря, убить больше людей, чем помочь вылечить. Как показывает практика, сейчас о далеких последствиях мало кто думает. Впрочем, так происходило всегда. Здесь можно лишь посоветовать читать качественную фантастику и смотреть «Черное зеркало».

[1] Келли К. Неизбежно. 12 технологических трендов, которые определяют наше будущее / Кевин Келли. — М.: Манн, Иванов, Фербер, 2018. С.41.

[2] Там же С.320.