?

Log in

No account? Create an account
Previous Entry Share Next Entry
10 тестов, которые должен пройти каждый уважающий себя ИИ (4)
giovanni1313
<< 3. "Когнитивное десятиборье" и тест Возняка <<

4. «Детский сад для общего ИИ»


Слово «десятиборье» звучит намного более грозно, чем «детский сад». Но если мы будем учитывать, что предыдущий набор тестов «когнитивного десятиборья» предполагал уровень двухлетнего ребенка, а в детский сад идут уже детишки постарше, относительный уровень сложности становится более понятным.

Итак, мы продолжаем разрабатывать ту же парадигму: проще создать интеллект на детском уровне, при этом способный обучаться, чем сразу браться за полноценный «взрослый» разум. Предполагается, что все планки предыдущих, более низких уровней мы уже взяли, и теперь от ИИ требуются более серьезные способности.

Определить нужный набор этих способностей взялись исследователи Б. Гёрцель и С. Бугадж. Их работа вышла через несколько лет после публикации «когнитивного десятиборья», но в общем предложения даются независимо от него. И если проект BICA вдохновлялся биологией, то тестовая среда «детского сада для ИИ» без особых изменений копирует типичные игровые комнаты для ребятишек в дошкольных учреждениях.

Исследователи высоко оценивают потенциал методик и спектр тем, существующих в дошкольном образовании. Развивающие занятия с воспитателем, например собирание конструктора или рисование, задействуют совокупность когнитивных навыков (языковых, логических, социальных и т. п.), что важно в контексте интеграции отдельных функций ИИ. Кроме того, эти занятия в упрощенном виде моделируют разные ситуации и стороны «взрослого» мира. «Окружения, создаваемые дошкольными обучающими центрами, задуманы как микрокосм наиболее важных аспектов тех окружений, с которыми встречаются люди в повседневной жизни», - пишут авторы.

Однако мы оставим в стороне вопрос работоспособности такой концепции для искусственного интеллекта. И сосредоточимся на том, какие именно умения должен показать ИИ данного уровня:

Как и в «когнитивном десятиборье», исследователи предлагают обширный перечень задач, призванный охватить многие стороны машинного разума. Разнообразие здесь еще более выражено. И в то же время почти каждая задача требует подключения сразу нескольких функциональных доменов интеллекта. Здесь приходится признать, что, если тесты «десятиборья» еще выглядят сколь-нибудь доступными с точки зрения нынешних возможностей, то уровень «детского сада» уже безнадежно далек от них.

Авторы подчеркивают, что приведенный здесь список задач является лишь примерным и может быть модифицирован либо дополнен новыми тестами. Подразумевается, что на этом этапе проблема универсальности ИИ уже преодолена, и машина способна справляться с задачами, с которыми она раньше не была знакома.

Более высокий уровень означает, что в «детском саду» Гёрцеля и Бугаджа мы видим еще больше красивых идей тестирования. Постараюсь дать небольшой комментарий для наиболее интересных из них.

«Написать набор инструкций» (также «Научить кого-нибудь играть на музыкальном инструменте»). Предполагается, что речь идет об описании, следуя которому, можно выполнить ту или иную задачу. Задание требует формирования отвлеченных представлений о тех или иных действиях, что оценивает способность к созданию иерархии абстракций. Более того, эти представления должны быть сформулированы на естественном языке и логичны, что в целом преследует цель облегчения трансфера знаний от машины к человеку и между машинами.


Авторы дают предлагают развернутое описание для этого задания. По их замыслу, несколько «экземпляров» одного и того же ИИ обучаются какому-то примеру, каждый от разного человека-учителя. После этого учитель проверяет, усвоил ли экземпляр прмер. И затем он просит ИИ объяснить усвоенное группе студентов. Оценивая уже не способность ИИ понимать, а способность объяснять понятое другим.

Наличие нескольких экземпляров ИИ нужно для наработки статистики и нивелирования «человеческого фактора», который может быть достаточно силён при обучении в таком формате. При этом могут быть выделены более эффективные подходы к преподаванию. В дальнейшем, при наличии технического потенциала, отдельные экземпляры могут быть слиты воедино, с целью интеграции параллельного (во времени) опыта многих ИИ-копий.

Данное испытание может быть усложнено. Например, вместо учителя, демонстрирующего пример, ИИ может быть дан сам готовый набор инструкций, и машина должна будет их интерпретировать. Или учитель может пропустить некоторые моменты в демонстрации, и от ИИ будет требоваться определить недостающие шаги. Всё это является прекрасными тестами способности к генерализации.

«Отредактировать текст», «Придать позитивный или негативный оттенок истории». Эти навыки выходят за рамки умений 6-летних детей, но для машины заданного уровня являются вполне достижимыми. Предположим, что задача редактирования текста состоит в том, чтобы изменить некоторую деталь, например, перенести место действия или поменять какой-то сюжетный ход. И здесь, и в случае эмоционального окрашивания нам потребуются домены, указанные для литературного примера в тесте Лавлейс: работа с иерархией абстракций, commonsense knowledge и reasoning. Иначе логичность отредактированного текста будет под вопросом.


«Создать процесс для измерения чего-либо». Не столь важно, идёт ли речь об измерении длины плюшевого удава в попугаях, времени — по сыплющемуся песку в песочных часах, или веса — примитивными рычажными весами, состоящими из линейки, положенной на кубик. В любом случае это - чрезвычайно сложная задача, требующая очень сильных способностей к абстракции. Дедукция, индукция и поиск неформализованных решений также обязательны.

«Проанализировать, как работает машина». Несколько более простая задача, чем в предыдущем случае. Помимо очевидных аналитических умений, требует развитой дедукции.

«Создать стратегию для достижения цели», «Определить ценность предложения». Широкие формулировки, особенно в первом случае. И тем не менее полезные. Хотя сложность задач очень высока. Здесь уже должны быть задействованы вполне «взрослые» концепции, вроде наличия у ИИ развитой и непротиворечивой модели окружающего мира, анализа среды и своих способностей, прогнозирования на несколько шагов вперед, иерархии целей и т. д.


«Придумать костюм», «Cпроектировать обстановку в комнате», «Создать корпоративный логотип», «Спроектировать здание». Творческие задания, которые без каких-либо изменений могут быть использованы в качестве основы для теста Лавлейс. Уровень сложности здесь не настолько высок, как с «серьезными» произведениями искусства.

«Повлиять на чувства других определенным образом». Задание может вызвать вопросы с точки зрения машинной этики: мы требуем от ИИ, чтобы он умел манипулировать чувствами людей. Невзирая на это, формулировка является прекрасным тестом на глубокое понимание человеческой психологии. И, как бы ни было спорно это умение, в будущем ИИ наверняка может использоваться подобным образом.

«Наставлять другого и давать советы». Если говорить о красивых идеях — то вот самая выдающаяся из них. Гёрцель и Бугадж видят много сильных сторон в своей методике обучения, но все эти стороны так или иначе завязаны на фигуру человека-учителя. Но общий ИИ, сильный ИИ обязательно должен быть самодостаточным. И предлагаемое умение потенциально способно исключить человека из процесса и замкнуть круг развития машин.

Если целью проекта BICA было объявлено создание ИИ, способного обучаться, как люди, то целью «детского сада для общего ИИ» можно назвать создание машин, способных обучать, как люди. Конечно, это гораздо более высокая планка. Но с этой высоты, когда она будет достигнута, открываются поистине широчайшие перспективы...