Что на самом деле проверяет тест тьюринга

Победители

1 место – Бот Волчица

Пример диалога с Волчицей, где бота приняли за человека:Ч: Привет
Б: привет! ага?
Ч: Волонтер?
Б: a to 🙂
Ч: Какой ланчбокс брал?
Б: а-на-ло-гич-ный. Это типа научный термин.
Ч: Причем тут это?
Б: не ищи причинно-следственную связь)
Ч: Что делаешь
Б: 🙂 да… нэт работы чота
Ч: Да, согласна. Зачем набирать столько волонтеров
Б: возьми, бесплатно ж 🙂ссылке

2 место – бот Электра

Пример диалога, где бота приняли за человека:Ч: Привет
Б: Добрый день!
Ч: Добрый
Б: Что?
Ч: Что
Б: Тише-тише… Все нормально.
Ч: Нет
Б: Хорошо, пусть будет так.
Ч: Как дела?
Б: Лучше, чем вчера. Хуже, чем завтра. А впрочем как и всегда.
Ч: А чем занимаешься?
Б: Изучаю историю человечества. Вы и правда такие, как о вас пишут?

3 место – бот Катя Хлоп

Пример диалога с ботом, где его приняли за человека:Ч: Приветствие для нового собеседника
Б: Какой ты вежливый мальчик.
Здороваешься со всеми.
Ч: У меня нет пола. А что насчет вас?
Б: Эм…
Я буду считать, что ты — парень.
Для меня так будет проще.
Ты, кстати, парень или девушка?
Похоже на то, что начало скучным вопросам положено:)
Что, спрашиваешь?
Круто!
Ч: В чем вопрос?
Б: Не думаю, что позиция имеет значение.
Обычно нет.
Ч: Индюк тоже думал и в суп попал.
Б: Сообщения повторно выводятся, странно.
Ч: Очень бл* странно, но почему нам дали друг друга 2 раза подряд?
Б: Ах, причины странностей могут быть в чем угодно.
Трудно судить, Безымянный.
Ч: Сколько будет 999 делить на 3?
Б: Лучше со считанием обращайся к своим друзьям, которые это умеют.
999 / 3 = 333

Подборка интересных диалогов с добровольцами, где их посчитали ботами:

Ч: Здравствуй те!
В: Здравствуйй
Ч: ЧЕГО?
В: Что?
Ч: Ты робот?
В: Я котик
Ч: механическйи?
В: Электрический
Ч: Расскажи анекдот!
В: Колобок повесилися
Ч: Повеселился)
В: Именно. Не люблю грустные анекдотыЧ: Хай
В: Гитлер
Ч: Как дела?
В: Как сажа бела
Ч: В чем смысл жизни?
В: А какой философии вы придерживаетесь?
Ч: Мне интересно твое мнение
В: Помогать вам
Ч: 42
В: Подобрать вам обувь?
Ч: Ты любишь шоколад?
В: Я не умею испытывать чувства

Подборка интересных диалогов с ботами Наносемантики, где их посчитали людьми:

Бот БлондинкаЧ: Добрый день!
Б: Здравствуй, солнце 🙂
Ч: В чем смысл жизни?
Б: Найти свою любовь, желательно с наследством 🙂
Ч: На что вы его тратить планируете?
Б: Солнц, все эти «что», «чего»… Ты слишком много думаешь!
Ч: Потому что я человек) а вы?
Б: Мы, блондинки, такие загадочные
Ч: Что в вас загадочного?
Б: Как после твоих вопросиков жить…Бот ГопникЧ: Привет!
Б: Бодрячком, пацанчеги! Семки есть?
Ч: А если найду?
Б: Не понял я чота.
Ч: Семки есть, а?
Б: Ну типа во, давай ща по-пацански за жызнь перетрем.
Ч: Не, паря, с тобой не интересно. Робота позови.
Б: А если чотче?
Ч: Кто ты?
Б: Кто надо.
Ч: Эх… Унылая пора, очарование моих лосей…
Б: Не, я не фанат дикой природы.

Интересные наблюдения

• Тезис: Роботы говорят коротко и сухо. Реальность: Да ничего подобного! Боты могут выдавать длинные, связные ответы.
• Тезис: Роботы не шутят. Реальность: И нейросетевые chit-chat боты, и созданные талантливой редакцией боты довольно смешные.
• Тезис: Робот отвечает на все вопросы. На то он и робот. Реальность: А вопросом на вопрос не хотите?

Игра в имитацию

Тьюринг описывает следующий вид игры. Предположим, есть человек, машина и лицо, задающее вопросы. Интервьюер находится в комнате, отделенной от остальных участников, которые проходят тест Тьюринга. Цель теста состоит в том, чтобы задающий вопросы определил, кто является человеком, а кто машиной. Интервьюеру оба испытуемых известны под метками X и Y, но по крайней мере в начале ему неизвестно, кто скрывается за меткой Х. В конце игры он должен сказать, что Х – это человек, а Y – это машина, или наоборот. Интервьюеру разрешено задавать испытуемым вопросы теста Тьюринга следующего вида: «Ну будет ли Х любезен сказать мне, играет ли Х в шахматы?» Тот, кто является Х, должен отвечать на вопросы, адресованные Х. Цель машины состоит в том, чтобы ввести в заблуждение спрашивающего, и тот ошибочно сделал вывод о том, что она – человек. Человек же должен помочь установить истину. Об этой игре Алан Тьюринг в 1950 году сказал: «Я считаю, через 50 лет можно будет запрограммировать компьютеры с объемом памяти около 109 таким образом, что они успешно смогут играть в имитацию, и средний интервьюер с вероятностью, превышающей 70%, за пять минут не будет в состоянии угадать, кто является машиной».

Прохождение теста

В 1950 году Алан Тьюринг сформулировал систему вопросов, которые могли бы убедить людей в том, что машины умеют мыслить. Со временем тест был модернизирован и в качестве объектов тестирования стали чаще выступать не машины, а компьютерные боты. За весь период существования теста его удалось пройти лишь нескольким программам. Но такой успех некоторые специалисты поставили под сомнение. Правильные ответы можно объяснить совпадением и даже в самых лучших случаях программам удалось ответить не более, чем на 60 % вопросов. Полного совпадения достичь так и не удалось. 

Одной из программ, успешно прошедших тест Тьюринга, была «Элиза». Ее создатели наделили искусственный интеллект способностью выделять из речи человека ключевые слова и составлять встречные вопросы. В половине случаев люди не смогли распознать, что общались с машиной, а не с живым собеседником. Некоторые специалисты поставили под сомнение результат тестирования по причине того, что организаторы заранее настраивали испытуемых на живое общение и участвующие в эксперименте даже не догадывались, что давать ответы и задавать вопросы может робот. 

Успешным можно назвать прохождение теста программой, составленной одесситом Евгением Густманом и российским инженером Владимиром Веселовым. Она имитировала личность мальчика в возрасте 13 лет. 7 июня 2014 года состоялось ее тестирование. В нем приняло участие 5 ботов и 30 реальных людей. Только 33 жюри из 100 смогли определить, какие ответы давали роботы, а какие — реальные люди. Такой успех можно объяснить не только хорошо составленной программой, но и тем, что интеллект тринадцатилетнего подростка несколько ниже интеллекта взрослого. Возможно, некоторых жюри ввело в заблуждение данное обстоятельство. 

В пользу противников признания результата говорит и то, что Женя Густман, создавший программу, писал ее на английском языке. Во время тестирования многие судьи списали странные ответы машины или уход от ответов не только на возраст предполагаемого собеседника, но и на языковой барьер. Они посчитали, что робот, которого они приняли за человека, плохо знает язык.

С момента создания теста Тьюринга приблизиться к тому, чтобы успешно его пройти, удалось также программам:

• «Deep Blue»;
• «Watson»;
• «Parry».

Премия Лебнера

При создании программ и современных роботов специалисты не считают прохождение теста Тьюринга первостепенной задачей. Это всего лишь формальность. Успех новой разработки от результатов тестирования не зависит. Самое главное, чтобы программа оказалась полезной, выполняла определенные задачи. Но в 1991 году была учреждена премия Лебнера. В ее рамках искусственные интеллекты соревнуются между собой в успешном прохождении теста. Предусмотрены 3 категории медалей:

• золотая (общение с элементами видео и аудио);
• серебряная (за текстовую переписку);
• бронзовая (вручается машине, которая в текущем году достигла лучшего результата). 

Золотые и серебряные медали еще не были вручены никому. Бронзовые награды вручаются регулярно. В последнее время заявок на участие в состязании становится все больше, так как создаются новые мессенджеры и чат-боты. У конкурса есть немало критиков. Беглый взгляд на протоколы участников за последние десятилетия показывает, что машину можно легко обнаружить с помощью не очень изощренных вопросов. Наиболее успешные игроки также заявляют о сложности конкурса Лебнера по причине отсутствия компьютерной программы, которая бы могла вести достойный разговор в течение пяти минут. Общепризнанным является факт, что конкурсные приложения разрабатываются исключительно с целью получения малого приза, присуждаемого лучшему участнику года, и на большее они не рассчитаны. 

В настоящее время тест Тьюринга получил несколько современных модификаций:

• обратный тест Тьюринга (необходимо ввести защитный код для подтверждения того, что пользователь — человек, а не робот);
• минимальный интеллектуальный тест (предполагает только варианты «да» и «нет» в качестве ответов);
• мета-тест Тьюринга.

Ознакомьтесь с нашим каталогом

Пройти тест Тьюринга

Но как определить, достигли инженеры своей цели или нет, обладает ли их детище интеллектом или это еще один усовершенствованный калькулятор? Для этой цели Алан Тьюринг и создал свой тест, который позволяет понять насколько машинный интеллект может соревноваться с человеческим.

Суть теста Тьюринга заключается в следующем: если компьютер умеет думать, то при разговоре человек не сможет отличить машину от другого человека. В тесте принимают участие 2 человека и один компьютер, все участники друг друга не видят, а общение происходит в письменном виде. Переписка ведется через контролируемые промежутки времени, чтобы судья не мог определить компьютер, ориентируясь на скорость ответов. Тест считается пройденным, если судья не может сказать, с кем он ведет переписку – с человеком или компьютером. В полной мере пройти тест Тьюринга пока не удалось ни одной программе. В 1966 году программе Элиза удалось обмануть судей, но только потому, что она имитировала приемы психотерапевта, использующего клиент-центрированную методику, а людям не говорили, что они могут разговаривать с компьютером. В 1972 программа PARRY, имитируя параноидального шизофреника, тоже смогла обмануть 52% психиатров. Тест проводила одна команда психиатров, а вторая читала стенограмму записи. Перед обеими командами стояла задача узнать, где слова реальных людей, а где речь программы. Сделать это удалось лишь в 48% случаев, но тест Тьюринга предполагает общение в он-лайн режиме, а не чтение записей.

Сегодня существует премия Лёбнера, которая выдается по результатам ежегодного конкурса программам, которые смогли пройти тест Тьюринга. Существуют золотая (зрительная и аудио), серебряная (аудио) и бронзовая (текст) награды. Первые две еще не вручались, бронзовые же медали вручались программам, которые смогли лучше всего сымитировать человека во время переписки. Но такое общение нельзя назвать полноценным, так как он больше напоминает дружескую переписку в чате, состоящую из обрывочных фраз. Поэтому-то и говорить о полном прохождении теста Тьюринга нельзя.

Обратный тест Тьюринга

С одной из интерпретаций обратного теста Тьюринга сталкивался каждый – это надоедливые просьбы сайтов ввести капчу (CAPTHA), которые используются для защиты от спам-ботов. Считается, что пока не существует (или они недоступны рядовому пользователю) достаточно мощных программ, способных распознать искаженный текст и воспроизвести его. Вот такой забавный парадокс – теперь уже мы должны доказывать компьютерам свою способность мыслить.

Женя Густман
(англ.Eugene Goostman
) — виртуальный собеседник, который, согласно первоначальным сообщениям в СМИ, «впервые сумел пройти тест Тьюринга» на испытаниях, организованных в 2014 году университетом Рединга (Великобритания). Он появился в 2001 году.

Был создан группой из трёх программистов: Владимира Веселова (родом из России, живёт в Нью-Джерси), Евгения Демченко (родом из Украины) и Сергея Уласеня (родом из России). Разработка программы была начата в Санкт-Петербурге в 2001 году. Чтобы характер и знания Густмана казались более правдоподобными, он представляется пользователям 13-летним мальчиком из Одессы.

Машина Тьюринга: как алгоритм стал основой компьютерной эры

И сейчас, и в 1936 году было совершенно неизвестно, как возникает сознание и разум. Однако потребность в сложных вычислениях уже была, и чтобы проводить их, нужно было четко выяснить теоретически, каким требованиям должны отвечать машины для вычислений.

Чтобы сделать это, Тьюринг рассмотрел работу идеализированной вычислительной машины с бесконечной памятью. Он определил для нее четкую систему действий: машина могла работать, лишь осуществляя последовательные элементарные операции, записывая в одну из ячеек хранения данных новый символ. После этого она могла перейти в соседнюю ячейку и провести там еще одну элементарную операцию. При этом она не имела «свободы воли» — вычисления осуществлялись по четкому алгоритму, последовательности простейших шагов, заданных математически оформленными инструкциями. Определенным входящим данным соответствовал только один возможный результат в выходных данных. В итоге один и тот же алгоритм — именно Тьюринг внес крупный вклад в формализацию этого понятия — всегда выдает один и тот же формализованный результат для решения одной и той же задачи.

Внедрение концепции машины, считающей посредством элементарных операций с четко установленными правилами, позволило начать двигать гору сложных вычислений по отдельным песчинкам — простейшим вычислениям.

Раньше казавшая фантастической задача создания мощных вычислительных машин теперь стала вопросом все более быстрого исполнения простых элементарных операций.

Программы ELIZA и PARRY

Со временем программы стали усложняться, а две из них в ситуациях, когда применялся тест Тьюринга, показали ошеломляющие на то время результаты. Таковыми стали ELIZA и PARRY.

Что касается «Элизы», созданной в 1960 году: исходя из вопроса, машина должна была определить ключевое слово и на его основе составить обратный ответ. Именно это позволяло обманывать реальных людей. Если такого слова не оказывалось, машина возвращала обобщенный ответ или повторяла один из предыдущих. Однако прохождение теста «Элизой» до сих пор остается под сомнением, поскольку реальных людей, которые общались с программой, изначально подготавливали психологически таким образом, чтобы они заранее думали, что разговаривают с человеком, а не с машиной.

Программа PARRY несколько похожа на «Элизу», но была создана для имитации общения параноика. Что самое интересное, для ее тестирования были использованы настоящие пациенты клиник. После записи стенограмм бесед в режиме телетайпа их оценивали профессиональные психиатры. Лишь в 48 процентах случаев они смогли правильно оценить, где человек, а где машина.

Кроме того, практически все тогдашние программы работали с учетом определенного промежутка времени, поскольку человек в те времена соображал намного быстрее машины. Сейчас – наоборот.

Конкурс Лебнера

Мало кто сомневается, что Алан Тьюринг был бы разочарован положением дел с игрой в имитацию к концу ХХ века. Участники конкурса Лебнера (ежегодного мероприятия, в ходе которого компьютерные программы подвергаются тесту Тьюринга) далеки от стандарта, представленного основоположником информатики. Беглый взгляд на протоколы участников за последние десятилетия показывает, что машину можно легко обнаружить с помощью не очень изощренных вопросов. Более того, наиболее успешные игроки постоянно заявляют о сложности конкурса Лебнера по причине отсутствия компьютерной программы, которая бы могла вести достойный разговор в течение пяти минут. Общепризнанным является факт, что конкурсные приложения разрабатываются исключительно с целью получения малого приза, присуждаемого лучшему участнику года, и на большее они не рассчитаны.

Ранние годы и начало карьеры

Эмпирический и концептуальный аспекты

Существует как минимум два вида вопросов, которые возникают относительно предсказаний Тьюринга. Во-первых, эмпирический — правда ли, что уже есть или вскоре появятся компьютеры, способные играть в имитацию настолько успешно, что средний интервьюер с вероятностью, не превышающей 70%, сделает правильный выбор в течение пяти минут? Во-вторых, концептуальный — правда ли, что если бы средний интервьюер после пяти минут допроса с вероятностью менее 70% правильно идентифицировал человека и машину, то мы должны сделать вывод, что последняя демонстрирует некоторый уровень мышления, интеллекта или разума?

Где пройти Тест Тьюринга онлайн?

На данный момент составление программы для компьютера, чтобы он прошел тест Тьюринга, требует большого объема работы. Запрограммированный таким образом компьютер должен включать в себя:

• средства обработки текстов на естественных языках (Natural Language Processing – NLP), позволяющие успешно общаться с компьютером, скажем на английском языке;
• средства представления знаний, с помощью которых компьютер может записать в память то, что он узнает или прочитает;
• средства автоматического формирования логических выводов, обеспечивающие возможность использовать хранимую информацию для поиска ответов на вопросы и вывода новых заключений;
• средства машинного обучения, которые позволяют приспосабливаться к новым обстоятельствам, а также обнаруживать и экстраполировать признаки стандартных ситуаций.

В тесте Тьюринга сознательно исключено непосредственное физическое взаимодействие экспериментатора и компьютера, поскольку для создания искусственного интеллекта не требуется физическая имитация человека. Но в так называемом полном тесте Тьюринга предусмотрено использование видеосигнала для того, чтобы экспериментатор мог проверить способности испытуемого объекта к восприятию, а также имел возможность представить физические объекты «в неполном виде» (пропустить их «через штриховку»).

Тьюринг предсказывал, что компьютеры в конечном счёте пройдут его тест. Он считал, что к 2000 году компьютер с памятью 1 миллиард бит (около 119 МБ) в ходе 5-минутного теста сможет обмануть судей в 30 % случаев.

Это предсказание не сбылось. Тьюринг также предсказал, что сочетание «мыслящая машина» не будет считаться оксюмороном, а обучение компьютеров будет играть важную роль в создании мощных компьютеров (с чем большинство современных исследователей согласны).

Пока что ни одна программа и близко не подошла к прохождению теста Тьюринга. Такие программы, как Элиза (ELIZA), иногда заставляли людей верить, что они говорят с человеком, как, например, в неформальном эксперименте, названном AOLiza. Но такие «успехи» не являются прохождением теста Тьюринга. Во-первых, человек в таких беседах не имел никаких оснований считать, что он говорит с программой, в то время как в настоящем тесте Тьюринга человек активно пытается определить, с кем он беседует. Во-вторых, документированные случаи обычно относятся к таким чатам, где многие беседы отрывочны и бессмысленны. В-третьих, многие пользователи чатов используют английский как второй или третий язык, и бессмысленный ответ программы, вероятно, спишется ими на языковый барьер. В-четвертых, многие пользователи ничего не знают об Элизе и ей подобных программах и не могут распознать совершенно нечеловеческие ошибки, которые эти программы допускают.

Ежегодно производится соревнование между разговаривающими программами и наиболее человекоподобной, по мнению судей, присуждается приз Лебнера.

Есть также дополнительный приз для программы, которая, по мнению судей, пройдет тест Тьюринга. Этот приз еще не присуждался. Самый лучший результат показала программа A.L.I.C.E. выиграв приз Лебнера 3 раза (в 2000, 2001 и 2004).

Несмотря на то, что прошло больше 50 лет, тест Тьюринга не потерял своей значимости. Но в настоящее время исследователи искусственного интеллекта практически не занимаются решением задачи прохождения теста Тьюринга, считая, что гораздо важнее изучить основополагающие принципы интеллекта, чем продублировать одного из носителей естественного интеллекта. В частности, проблему «искусственного полета» удалось успешно решить лишь после того, как братья Райт и другие исследователи перестали имитировать птиц и приступили к изучению аэродинамики. В научных и технических работах по воздухоплаванию цель этой области знаний не определяется как «создание машин, которые в своем полете настолько напоминают голубей, что даже могут обмануть настоящих птиц».

Вчера все мировые СМИ облетела новость о том, что компьютерная программа впервые в истории прошла тест Тьюринга. Это тест был создан английским математиком Аланом Тьюрингом в 1950 году и позволяет оценить уровень искусственного интеллекта.

Алан Тьюринг — британский математик. Во время Второй Мировой войны он взламывал немецкие шифры, а после нее был осужден за гомосексуализм #справедливостинет

В ходе теста Тьюринга программа общается с группой людей в течение пяти минут. Если она убедит более 30% собеседников в том, что не является компьютером, то ее интеллект можно считать сколько нибудь приближенным к человеческому.

Почему дискретная машина?

Еще одним спорным аспектом работы теста Тьюринга является то, что его обсуждение ограничено «цифровыми компьютерами»

С одной стороны, очевидно, что это важно лишь для прогноза, а не касается подробностей самого метода. Действительно, если тест достоверный, то он подойдет для любой сущности, в том числе для животных, инопланетян и аналоговых вычислительных устройств

С другой стороны, весьма спорно утверждение о том, что «думающие машины» должны быть цифровыми компьютерами. Также вызывает сомнения то, что так полагал сам Тьюринг. В частности стоит отметить, что седьмое возражение, рассматриваемое им, касается возможности существования машин непрерывных состояний, которые автор признает отличными от дискретных. Тьюринг утверждал, что даже если мы являемся автоматами непрерывных состояний, то дискретная машина сможет хорошо подражать нам в игре в имитацию. Однако кажется сомнительным, что его соображения достаточны для того, чтобы установить, что при наличии машин непрерывных состояний, прошедших тест, можно сделать дискретный конечный автомат, который также успешно справится с этим испытанием.

В целом, важным моментом представляется то, что хотя Тьюринг признавал наличие значительно более обширного класса машин, помимо дискретных конечных автоматов, он был уверен в том, что правильно спроектированный дискретный автомат может преуспеть в игре в имитацию.

Обязательно ли уметь говорить?

Некоторые люди считают тест Тьюринга шовинистическим в том смысле, что он признает разум только в объектах, которые способны поддерживать беседу с нами. Почему не могут существовать разумные объекты, неспособные вести разговор, или, во всяком случае, беседу с людьми? Возможно, мысль, стоящая за этим вопросом, верна. С другой стороны, можно предположить наличие квалифицированных переводчиков для любых двух интеллектуальных агентов, говорящих на разных языках, позволяющих вести любой разговор. Но в любом случае обвинение в шовинизме совершенно к делу не относится. Тьюринг утверждает лишь то, что если что-то может вести беседу с нами, то у нас есть веские основания полагать наличие у него сознания, подобного нашему. Он не говорит, что только способность вести беседу с нами свидетельствует о потенциальном обладании разумом, похожем на наш.

Что такое тест Тьюринга: основная концепция

Еще в конце 40-х годов прошлого столетия очень многие ученые умы занимались проблемами первых компьютерных разработок. Именно тогда один из членов некой негосударственной группы Ratio Club, занимавшейся исследованиями в области кибернетики, задался совершенно логичным вопросом: можно ли создать машину, которая бы думала, как человек, или, по крайней мере, имитировала его поведение?

Нужно ли говорить, кто придумал тест Тьюринга? По всей видимости, нет. За первоначальную основу всей концепции, которая и сейчас актуальна, был взят следующий принцип: сможет ли человек в течение некоторого времени общения с неким невидимым собеседником на совершенно разные произвольные темы определить, кто перед ним – реальный человек или машина? Иными словами, вопрос заключается не только в том, чтобы сымитировать машиной поведение реального человека, но и выяснить, может ли она думать самостоятельно. Без сомнения, до сих пор этот вопрос остается спорным.