Элиезер Юдковски
Вправе оптимизировать(перевод поста "Free to Optimize")
ссылка на пост +++Stare decisis - это правовой принцип, который обязывает суды следовать прецедентам, повторять шаги других судей. Как кто-то ранее осужденный на ортодоксальное еврейское образование, во время которого я стискивал зубы от мысли, что средневековые раввины всегда будут мудрее современных раввинов, я полностью упустил обоснование «stare decisis». Я думал, что это об уважении к прошлому.
Но не должны ли мы предположить, что в присутствии науки судьи, которые находятся ближе к будущему, узнают больше - у них под рукой новые факты - которые позволяют им принимать лучшие решения? Представьте, что инженеры уважают решения прошлых инженеров не как источник хороших предложений, а как обязательный прецедент! - такова была моя первоначальная реакция. Стандартное обоснование «Stare Decisis» стало для меня шоком откровения; это значительно повысило мое уважение ко всей правовой системе.
Это обоснование является юридической константой: прежде всего правовая система должна быть предсказуемой, чтобы люди могли выполнять контракты или выбирать поведение, зная правовые последствия.
Судьям не обязательно оптимизировать, как инженерам. Цель закона - не сделать мир идеальным. Закон призван обеспечить предсказуемую среду, в которой люди могут оптимизировать свое будущее.
Я был поражен тем, как принцип, который на первый взгляд казался полностью луддитским, мог иметь такое обоснование Просвещения. Это был «шок творчества» - решение, которое заняло высокое место в моем порядке предпочтений и низкое в моем порядке поиска, решение, которое нарушило мои предыдущие поверхностные обобщения. «Уважай прошлое только потому, что это прошлое» не могло бы легко прийти ко мне как хорошее решение для чего-либо.
В «Эволюционном происхождении моралиy» есть коллегиальный комментарий, в котором мимоходом отмечается, что «при прочих равных условиях организмы предпочтут вознаградить себя за вознаграждение заботливыми организмами». Он цитируется как принцип Премака, но фактический принцип Премака выглядит совсем не так, так что я не знаю, является ли это фиктивным результатом, ошибочно приведенной цитатой или неочевидным выводом. Если это правда, это определенно интересно с точки зрения Теории Веселья.
Оптимизация - это способность втиснуть будущее в области, расположенные высоко в ваших предпочтениях. Жить своими собственными силами - значит сжимать мое собственное будущее - не идеально, но все же достаточно, чтобы стать способным понять некоторые отношения между моими действиями и их последствиями. Это сила человека.
Если мне помогают, то какой-то другой агент также сжимает мое будущее - оптимизируя меня - в том же грубом направлении, в котором я пытаюсь сжать себя. Это «помощь».
Человеческий помощник вряд ли будет управлять каждой частью моего будущего, которой я мог бы руководить сам. Они вряд ли уже использовали каждую связь между действием и результатом, которую я сам могу понять. Они не смогут сжать будущее так крепко; останется слабина, которую я могу выжать для себя.
У нас мало опыта в том, чтобы «заботиться» о существенном разрыве в интеллекте; самое близкое, что дает нам человеческий опыт, - это идиома родителей и детей. Человеческие родители все еще люди; они могут быть умнее своих детей, но они не могут предсказать будущее или манипулировать детьми каким-либо тонким способом.
Тем не менее, существует эмпирическое наблюдение, что некоторые человеческие родители настолько помогают своим детям, что их дети не становятся сильными. Дело не в том, что их детям ничего не остается делать, но из-за ста миллионов долларов в целевом фонде им не нужно много делать - их оставшиеся мотивы недостаточно сильны. Нечто подобное зависит от генов, а не только от окружающей среды - не каждый перегруженный ребенок умирает - но, и наоборот, это зависит и от окружающей среды, а не только от генов.
Итак, при рассмотрении видов «помощи», которая может перетекать от относительно более сильных агентов к относительно более слабым агентам, у нас есть две потенциальные проблемы для отслеживания:
1. Помощь настолько сильная, что она оптимизирует связь между желаемым результатом и вашим собственным выбором.
2. Помощь, которая считается настолько надежной, что снимает психологическое давление, заставляющее использовать собственные силы.
Поскольку (2) вращается вокруг веры, сможете ли вы солгать о том, насколько надежной была помощь? Притвориться, что не поможете, когда дела пойдут плохо, но если дела пойдут плохо, вы все равно поможете? Этот трюк не слишком хорошо сработал для Алана Гринспена и Бена Бернанке.
Суперинтеллект может быть в состоянии осуществить лучший обман. Но с точки зрения моральной теории и эвдемонии - нам разрешено иметь предпочтения по отношению к внешним состояниям, а не только по отношению к психологическим состояниям. Это относится к «я хочу по-настоящему управлять своей собственной жизнью, а не просто верить в то, что я делаю», точно так же, как это относится к «я хочу иметь любовный роман с другими разумными людьми, а не просто марионетку, насчет которой я притворился, что считаю ее разумной». Так что, если мы можем твердо заявить, с точки зрения ценности, что мы не хотим быть одураченными таким образом, а затем создаем агента, который уважает такие предпочтения - это просто вопрос Дружественного ИИ.
Изменить людей так, чтобы они не расслаблялись, когда верят, что им помогут? Я обычно пытаюсь придумать, как изменить окружение, прежде чем представить себе, что нужно модифицировать людей. Дело не в том, что я хочу оставаться одним и тем же человеком вечно; но проблемы имеют гораздо более глубокие последствия, и можно было бы хотеть принять это медленно, с какой-то благоговейной скоростью личного улучшения.
(1), тем не менее, является наиболее интересным вопросом с философской точки зрения. Это противоречит путанице под названием «свободная воля».
Допустим, я - сверхмощный ИИ, и я использую свои знания вашего разума и вашего окружения, чтобы предсказать, что, если оставить все как есть, вы заработаете 999 750 долларов. Но это не удовлетворяет меня; так получилось, что я хочу, чтобы вы заработали как минимум 1 000 000 долларов. Итак, я вручаю вам 250 долларов, а затем вы зарабатываете 999 750 долларов, как обычно.
Сколько своих сил вы только что вложили?
(1) сказал бы: «Я заработал 99,975% денег; ИИ помог только на 0,025%».
(2) сказал бы: «Предположим, я полностью расслабился и ничего не сделал. Тогда ИИ вручил бы мне 1 000 000 долларов. Поэтому моя попытка управлять своим собственным будущим была иллюзией; в мое будущее уже было заранее заложено иметь 1 000 000 долларов».
Кто-то может ответить: «Физика детерминирована, поэтому ваше будущее уже определено независимо от того, что вы или ИИ делаете…»
Но (2) прерывается и говорит: «Нет, ты так легко меня не запутаешь. Я знаю физику, поэтому, чтобы мое будущее определялось мной, оно должно быть определено физикой. Прошлое не обходит Настоящее и не определяет Будущее до того, как Настоящее получит шанс - это смешение своевременного представления с вневременным. Но если есть ИИ, который действительно просматривает альтернативы раньше, чем я, и действительно выбирает результат, прежде чем я получу шанс, тогда я действительно не управляю своим собственным будущим. Будущее больше не зависит от моих решений.
В этот момент (1) появляется и говорит: «Но, конечно, будущее контрфактуально зависит от ваших действий. ИИ дает вам 250 долларов, а затем уходит. Как физический факт, если вы не работаете усердно, вы в конечном итоге получите только 250 долларов вместо 1 000 000 ".
На что (2) отвечает: «Я выбираю одну коробку в задаче Ньюкомба, поэтому мои контрфактуальные высказывания гласят: «Если бы я решил не работать усердно, ИИ дал бы мне 1 000 000 долларов вместо 250 ».
«Итак, вы говорите, - говорит (1), с тяжелым сарказмом, - что если бы ИИ хотел, чтобы я заработал как минимум 1 000 000 долларов, и это было обеспечено общей политикой передачи мне 1 000 000 долларов на серебряном блюде, оставляя мне свободу заработать 999 750 долларов своими действиями на общую сумму 1 999 750 долларов, - что этот ИИ вмешался бы в мою жизнь меньше, чем тот, который только что дал мне 250 долларов».
(2) на секунду задумывается и говорит: «Да, на самом деле. Потому что тогда есть более сильная контрфактуальная зависимость конечного результата от ваших собственных решений. Каждый доллар, который вы заработали, был реальным добавленным долларом. Второй ИИ помог вам больше, но он влиял на вашу судьбу меньше.
«Но если бы ИИ сделал то же самое, потому что он хотел, чтобы я заработал ровно 1 999 750 долларов США - »
(2) кивает.
«Это звучит немного страшно, - говорит (1), - по причинам, которые не имеют ничего общего с обычными яростными дебатами по поводу задачи Ньюкомба. Вы делаете свою служебную функцию зависимой от детального познания Дружественного ИИ, пытающегося помочь вам! С вами все будет в порядке, если ИИ сможет дать вам только 250 долларов. С вами все будет в порядке, если ИИ решил дать вам 250 долларов в процессе принятия решения, который предсказал окончательный результат менее подробно, даже если вы признаете, что в принципе ваши решения уже могут быть очень детерминированными. Как бедный Дружественный ИИ должен помочь вам, если ваша функция полезности зависит не только от результата, не только от действий Дружественного ИИ, но и от различий точного алгоритма, который использует Дружественный ИИ, чтобы прийти к тому же решению? Разве не весь ваш смысл выбора одной коробки в задаче Ньюкомба в том, что вас волнует только то, что работает?".
«Ну, это хорошая мысль», - говорит (2). «Но иногда мы заботимся только о том, что работает, и все же иногда мы заботимся о путешествии так же, как и о месте назначения. Если бы я пытался вылечить рак, мне было бы все равно, как я вылечил рак или вылечил ли его я или ИИ. Это не такая проблема. Это проблема эвдемонического путешествия - вот почему меня прежде всего волнует, получаю ли я миллион долларов своими собственными усилиями или с внешним искусственным интеллектом, передающим мне его на серебряном блюде. Моя функция полезности не работает. Если я не хочу слишком сильно оптимизироваться внешним агентом, агент должен уважать это предпочтение, даже если оно зависит от деталей того, как внешний агент принимает свои решения. Хотя также стоит отметить, что решения принимаются с помощью алгоритмов - если бы ИИ не использовал алгоритм для выполнения всего того, что потребовалось, чтобы дать мне 1 000 000 долларов, он, вероятно, не дал бы мне ровно 250 долларов».
Желание не слишком сильно оптимизироваться внешним агентом является одним из структурно нетривиальных аспектов человеческой морали.
Но я могу придумать решение, которое, если оно не содержит какой-то ужасный недостаток, неочевидный для меня, устанавливает нижнюю границу добротности решения: любое принятое альтернативное решение должно быть, по крайней мере, настолько хорошим или лучшим.
Если в мире есть что-то, что напоминает бога, люди попытаются помолиться этому. Это человеческая природа до такой степени, что люди будут молиться, даже если нет никаких богов - так что вы можете представить, что случилось бы, если бы были! Но люди не молятся гравитации, чтобы игнорировать свои самолеты, потому что понятно, как работает гравитация, и понятно, что гравитация не приспосабливается к потребностям людей. Вместо этого они понимают гравитацию и пытаются использовать ее в своих целях.
Таким образом, одним из возможных способов помощи - который может быть или может быть не лучшим способом - будет дар мира, который работает над улучшенными правилами, где правила достаточно стабильны и понятны, чтобы люди могли ими манипулировать и оптимизировать свое будущее. Все вместе. Хорошее место для жизни, но без вмешивающихся богов. Мне еще предстоит подумать о форме помощи, которая менее ядовита для людей, но я всего лишь человек.
Добавлено: Обратите внимание, что современные правовые системы имеют низкий показатель неудач в этом измерении - ни один человеческий разум не может больше даже просто знать все правила, не говоря уже о том, чтобы оптимизировать их. Может быть, профессиональный юрист, который больше ничего не делает, мог бы запомнить все правила, применимые к нему лично, но я сомневаюсь в этом. Как заметил Альберт Эйнштейн, любой дурак может все усложнить; то, что требует интеллекта, движется в противоположном направлении.