[alhajia]

Элиезер Юдковски
Жить своей собственной силой
(перевод поста "Living By Your Own Strength")

ссылка на пост

+++

«Я и Морисато-сан ... мы хотим жить вместе своими силами».

Джаред Даймонд однажды назвал сельское хозяйство «худшей ошибкой в истории человечества». Фермеры могли бы выращивать больше пшеницы, чем охотники-собиратели могли бы собирать орехов, но доказательства кажутся довольно убедительными в том, что сельское хозяйство обменивало качество жизни на количество жизни. Одно исследование показало, что фермеры в этом районе были на шесть дюймов ниже ростом и жили на семь лет меньше, чем их предшественники - охотники-собиратели, хотя фермеров было больше.

Я не знаю, назову ли я сельское хозяйство ошибкой. Но нужно хотя бы знать о минусах. Политические дебаты не должны быть односторонними.

В том же духе -

Когда-то давно наши предки-охотники-собиратели натягивали свои луки, плели свои корзины, обрезали свои флейты.

И частью нашего отчуждения от этой среды эволюционной приспособленности является количество инструментов, которые мы используем, которые мы не понимаем и не можем сделать для себя.

Вы можете оглянуться на "Преодоление предвзятости" и увидеть, что я всегда с подозрением относился к заимствованным силам. (Еще до того, как я понял источник разногласий - моих и Робина - по поводу Сингулярности.) В "Угадай Пароль Учителя" я говорил о (общеизвестной) проблеме, в которой школы в конечном итоге преподают вербальное поведение, а не настоящие знания. В «Настоящей части вас» я предложил один тест на ложное знание: представьте, что вы удаляете факт из своего разума и спрашиваете, возникнет ли он там снова.

Я знаю много способов доказать теорему Пифагора, включая, по крайней мере, одно доказательство, которое является чисто визуальным и может быть замечено с первого взгляда. Но если бы вы полностью удалили из моего разума теорему Пифагора, хватит ли мне математических навыков, чтобы вырастить ее в следующий раз, когда она мне понадобится? Я надеюсь на это - конечно, я решал математические задачи, которые кажутся более сложными, чем эта и все такое. Но, поскольку я не ИИ, я не могу отключить воспоминания и ассоциации и проверить себя таким образом.

Владение чужой силой делать вещи, выходящие за пределы вашего собственного понимания - это действительно настолько опасно, насколько звучит формулировка «глубоко мудрый».

Я рассматривал в «Невозможности извлечь уроки из истории» (размышляя над глупостью моего детства, предлагая загадочный ответ на загадочный вопрос) вот что: «Если бы я, лично я постулировал астрологические загадки, а затем открыл ньютоновскую механику, постулировал алхимические тайны, а затем открыл химию, постулировал виталистические загадки, а затем открыл биологию. Я бы подумал о своем Таинственном Ттвете и сказал бы себе: я ни за что не пойду на это снова».

В то же время в моем детстве мне были вручены некоторые приемы рациональности, но я точно не владел ими. Заимствование чужого знания на самом деле не дает вам ничего такого, как примерно тот же уровень мощности, который необходим, чтобы самостоятельно открыть эти знания для себя.

Разве Исаак Ньютон остался бы мистиком даже в ту раннюю эпоху, если бы он жил жизнью Галилея и Архимеда, а не просто читал о них? Если бы он лично видел планеты, уменьшенные от богов до сфер в телескопе? Если бы он лично вел всю эту войну против невежества и тайн, с которыми нужно было бороться, прежде чем Исааку Ньютону можно было бы передать математику и науку в качестве начала его дальнейшей работы?

Мы стоим на плечах гигантов, и при этом сила, которой мы обладаем, далеко не пропорциональна силе, которую мы могли бы генерировать для себя. Это верно даже для наших революционеров. И да, мы не смогли бы начать поддерживать этот мир, если бы люди могли использовать только свои силы. Тем не менее, мы что-то теряем.

Эта мысль пришла мне в голову, когда я читал о Манхэттенском проекте, и петиции, которую подписали физики, чтобы не сбрасывать атомную бомбу на Японию. Конечно, было уже слишком поздно; они уже создали бомбы и передали их военным, и они не могли забрать этот дар обратно. И поэтому ядерное оружие перешло в руки политиков, которые никогда не могли бы создать такую вещь своими силами ...

Не то, чтобы я хотел сказать, что мир обязательно был бы лучше, если бы физики имели единоличное право распоряжаться МБР. Что физик знает о международной дипломатии или войне? И не так, как если бы Лео Сцилард, который впервые подумал о цепной реакции деления, лично изобрел науку; он тоже использовал силы, превышающие его собственные. И дело не в том, что физики Манхэттенского проекта собрали деньги для оплаты своей зарплаты и своих материалов; они заимствовали силу политиков ...

Но если бы никто не смог применить ядерное оружие, если бы, скажем, не не был и ученым, и политиком — без личного знания о том, как создать атомную бомбу и как завести друзей, - мир мог бы быть немного безопаснее.

И если бы никто не смог создать атомную бомбу, не открыв для себя вначале природу и существование физики, то мы были бы намного дальше от атомных бомб, потому что никто не смог бы создать их, пока им не исполнилось бы двести лет.

Поскольку люди выходят из игры всего через семьдесят лет, мы не можем поддерживать этот мир, используя только свои собственные сильные стороны. Но мы обменяли качество понимания на количество понимания.

Мне иногда кажется, что многие из проблем этого мира проистекают из наших способностей использовать силы, которые не подходят для семидесятилетних.

И есть более высокий уровень владения силой, которого еще не достиг ни один человек. Даже когда мы бежим, мы просто используем мускулы, созданные для нас эволюцией. Даже когда мы думаем, мы просто используем мозги, которые эволюция построила для нас.

Я не предлагаю, чтобы люди создавали себя с нуля без отправной точки. Просто указываю на то, что это был бы другой мир, если бы мы понимали наши собственные мозги и могли бы изменить наши собственные ноги. Пока еще нет человеческого «рационалиста» или «ученого», который бы знал о том, «как думать», который мог бы на самом деле создать рациональный ИИ, который показывает вам пределы нашего самопонимания.

Это не та вещь, которую я бы предложил в качестве немедленного изменения. Я не предлагаю, чтобы люди сразу же на серебряном блюде получили полное знание о том, как работает их собственный мозг, и возможность переделывать собственные ноги. Потому что, возможно, людям будет лучше, если им не предоставят такую власть, а предложат самим придумать ответ.

Просто с точки зрения Аномии против Веселья, есть большая разница между способностью делать что-то для себя и необходимостью полагаться на других людей, чтобы они делали это для вас. (Даже если вы делаете это что-то с помощью мозга, который вы никогда не проектировали для себя.)

Я не знаю, будет ли это принцип, который останется до конца времени, для детей детей. Возможно, лучше разработанные умы могли бы справиться с непонятными инструментами без аномии.

Но это часть часто повторяемого пророчества об Искусственном Интеллекте и Эпохе Машин — о том, что эта эпоха должна сопровождаться большей опорой на вещи вне себя, более непонятными инструментами, в которых вы все меньше понимаете и все меньше участвуете в их создании.

Такое пророчество не удивительно. Именно сюда зашла эта тенденция, в нашей культуре, которая слишком занята, чтобы оставаться в живых, чтобы оптимизировать для Веселья. От инструментов добычи огня, которые вы создали сами, до деревенского продавца свечей, а затем от продавца свечей до электрического света, который работает на странных математических принципах и питается от отдаленного генератора ... мы окружены внешними вещами и силами вне нашего понимания; нам они нужны, чтобы оставаться в живых, или мы покупаем их, потому что так легче.

Но с достаточным избытком власти, вы можете начать делать вещи эвдемоническим способом. Начните переосмысливать жизненный опыт как путь к усвоению новых сильных сторон, а не просто как попытку эффективно поддерживать жизнь людей.

Дружественный ИИ не должен быть продолжением существующих тенденций. Это не Машина. Это не инопланетная сила технологии. Это не механизация фабрики. Это не новый гаджет на продажу. Это не то, откуда приходит форма. Что это такое - нелегко объяснить; но мне напоминают описание the Lens от дока Смита как «физического проявления чисто философской концепции». Эта философская концепция не должна проявляться как новые кнопки для нажатия - если это не то, что мы, подумав, захотели бы.