+++
Если в течение какого-то времени вы следили за блогом, вы, возможно, помните, что несколько месяцев назад парень из Ливерморской национальной лаборатории обучил нейронную сеть на «Ложной Слепоте» и дал ей задание начать сиквел. Результаты оказались... тревожными. ИИ написал текст, очень похожий на мой: тот же ритм, то же использование ярких аналогий, те же самые сократовы диалоги о функции мозга. Многое из этого не имело смысла, но, конечно, казалось, что он есть, особенно, если вы быстро просматривали текст. Если бы вы не были знакомы с исходным материалом — если бы, например, вы не знали, что «челнок» не вписался бы в «позвоночник» - многое из этого сошло бы за оригинал.
Этот вид ИИ является чисто корреляционным. Вы обучаете его на миллионах слов, написанных в стиле, который вы хотите имитировать - новостные сюжеты, фантастика, посты с Reddit^1 - и затем скармливаете ему предложение или два. На основании того, что он прочитал, он предсказывает слова, которые, скорее всего, должны следовать за этим: добавляет их в строку, использует измененный текст для предсказания слов, которые, вероятно, следуют за этими, и так далее. Там нет понимания. Это учебный пример китайской комнаты, весь стиль, а не сущность, но этот стиль может быть настолько убедительным, что вызывает серьезные опасения по поводу манипулирования онлайн-диалогом. (OpenAI решил выпустить только урезанную версию своего знаменитого текстового бота GPT2, опасаясь, что полнофункциональная версия будет использоваться для создания необнаружимых и опасных мошенников. Лично я считаю, что это ошибка — это только вопрос времени насчет разработки чего-то такого же или более мощного, так что мы могли бы с таким же успехом вычислить подобного ублюдка, чтобы дать людям возможность разработать контрмеры.)
Это неизбежно привело к всевозможным онлайн-дискуссиям о том, как можно отфильтровывать такой фальшивый контент. Это, в свою очередь, привело к утверждениям, которым я, из всех людей, не должен был так удивляться: не может быть никакого способа отфильтровать сгенерированный ботом текст, созданный человеком, потому что в большинстве случаев разговоры с людьми — не что иное, как те же китайские комнаты.
Начните с утверждения Сары Константен о том, что «люди, которые не концентрируются, не являются в полном смысле разумными». Она утверждает, что поверхностно читающие могут пропустить очевидные нелепости в содержании - что стилистической последовательности достаточно, чтобы пройти поверхностный отбор, а поверхностность - это то, что большинство из нас по умолчанию предпочитают большую часть времени. (Это напоминает мне о том аргументе, что соответствие является характеристикой выживания у таких социальных видов, как наш, поэтому, например, ваши статистические навыки снижаются, когда правильное решение проблемы статистики противоречит догме племени. Дело не в том, чтобы понять исходные данные - это вполне может быть контрпродуктивным. Цель состоит в том, чтобы «спопугайничать» эти данные, чтобы укрепить стандарты сообщества.)
Перейдем к концепции «лепета» Робина Хансона: речь, основанная на низкоуровневых корреляциях между фразами и предложениями - именно то, чем владеют текстовые роботы. По словам Хансона, такая болтовня «не имеет смысла», но «часто кажется, что она основана на более глубоком понимании, чем на самом деле»; этого «достаточно, чтобы отразить большинство вежливых разговоров, таких как хорошая погода, болезнь вашей матери и проклятая другая политическая партия». К этой категории он также относит большинство выступлений на TED, а также многие студенческие эссе, которые он вынужден читать (Хансон - профессор университета). Опять же, для меня это имеет значительный смысл: цель типичного студента - не получить понимание, а сдать экзамен. Он бывает на занятиях (на некоторых из них, во всяком случае), он знает, какие слова и фразы продолжает использовать типичный парень из класса. И все, что он должен сделать — это понять, как перегруппировать слова таким образом, чтобы выкрутиться на экзамене.^3
Поэтому может быть невозможно различить людей и ботов не потому, что боты стали такими же умными, как люди, а потому, что большую часть времени люди такие же тупые, как боты. Я на самом деле не разделяю вытекающий из этого ханжеский притворный ужас насчет того, как исключить одно, сохранив при этом другое - почему бы не отфильтровать весь ботоподобный дискурс, независимо от его происхождения? - но представьте себе негодование общественности, если людям сказать, что они действительно должны думать, продемонстрировать фактическое понимание , прежде чем они смогут реализовать свое право на свободу слова. Когда вы приступите к этому, разве сгенерированные ботом замечания о единорогах с четырьмя рогами имеют какой-то меньший смысл, чем реальные протестные знаки, говорящие: «Правительство, руки прочь от моей медицинской помощи!»?
Но забейте на все это. Позвольте ученым поразмышлять о том, как нарисовать свои линии таким образом, чтобы поддерживать поверхностное притворство насчет человеческой уникальности. Я вижу положительную сторону, готовую роль для текстовых ботов даже в их текущем незавершенном состоянии: неигровые персонажи в видеоиграх.
Вот. Разве это не лучше?
Я имею в виду, я люблю Bethesda так же сильно, как и следующих парней, но сколько встречных незнакомцев может отойти от одной строчки диалога о том, что им попала стрела в колено, пока она не наскучит? Ограниченные параметры диалога - проклятие истинного погружения в любую игру с наличием диалогов; мы миримся с этим, потому что есть ограничение на количество светских разговоров, за запись которых вы можете заплатить голосовому актеру. Но светские разговоры - это то, в чем текстовые боты превосходят людей, они генерируют это на лету; вы могли бы бродить по Нильфгаарду или Ночному городу годами и никогда не слышать одно и то же предложение дважды. Незнакомцы, с которыми вы бы столкнулись, говорили бы естественно, непредсказуемо, так же плавно, как и все, мимо кого вы проходите по улице в реальной жизни. (И, поскольку управляющих из разговорами бот обучался бы исключительно на словаре в игре, не было бы опасений, что он сойдет с рельсов со случайными ссылками на Дональда Трампа.)
Конечно, мы говорим здесь о генерации текста, а не речи; вы бы вырезали голосовых актеров из этого конкретного цикла, зарезервировав их для более важных ролей, которые передают полезную информацию. Но преобразование текста в речь постоянно улучшается. Я слышал некоторые синтетические голоса, которые звучат более реалистично, чем любой политик, которого я когда-либо видел.
Так случилось, что я снова вернулся к разработке видеоигр, работая над проектом с компанией из Тель-Авива. Я не могу вам многое сказать, кроме того, что это киберпанк, это виртуальная реальность, и - если все пойдет как и с любым другим игровым проектом, который у меня был в течение последних двадцати лет, - он провалится и сгорит, прежде чем когда-либо попадет на рынок. Но эти парни сметливые, амбициозные и привыкли раздвигать границы дозволенного. Когда я затронул тему, мне сказали, что сгенерированный ботами диалог - это только одна из тех вещей, которые им не терпелось попробовать.
К сожалению, они также сказали мне, что они не могут потешить мое самолюбие по всем пунктам сразу; существует ограничение на количество технологических пиков, которые вы можете масштабировать в любой момент времени. Так что я ни на что не рассчитываю. Тем не менее, пока есть шанс, я буду там, надоедая им со всей нежной непреклонной силой морской звезды, раскрывающей моллюска. Если мне не удастся, будут другие. В какой-то момент, скорее, чем позже, цифровые игроки в видеоиграх будут, по крайней мере, такими же умными, как люди, которые выступают на TED.
Я просто хотел бы, чтобы это было большим достижением.
______
1 Существует субреддит, заполненный только ботами, которые прошли обучение на других субреддитах. Это славное и страшное место.
2 У кое-кого уже есть, так или иначе, хотя они тоже решили не выпускать его .
3 Мне также напоминают о наблюдении Роберта Хэра о том, что социопаты склонны мыслить в меньших «концептуальных единицах», чем нейротипики - например, с помощью фраз, а не законченных предложений. Это дает им очень быстрые семантические рефлексы, поэтому они кажутся бойкими и убедительными и могут резко отказаться от всего, если загнаны в угол; но они также склонны к малапропизмам (неверному употреблению слов) и заявлениям, которые имеют тенденцию к внутреннему противоречию на более высоких уровнях.
Не то чтобы я когда-либо говорил, что студенты университетов — социопаты, конечно же.
@темы:
перевод,
Питер Уоттс