Призадуматься бы нам
ГЛАВА ЧЕТВЁРТАЯ. Марионетка
В один прекрасный день на главной площади города установили огромный экран.
На нём появилось сообщение:
«Для повышения безопасности некоторые решения будут приниматься автоматически».
Люди пожали плечами.
Это было удобно.
Через год система получила дополнительные полномочия.
«Для уменьшения количества ошибок автоматизированное управление будет расширено».
Люди почти не обратили внимания.
Это казалось разумным.
Затем машины начали ограничивать решения, которые система считала опасными.
Каждое новое ограничение имело объяснение. Каждое подавалось как забота о людях.
И однажды человек обнаружил, что ему всё труднее самостоятельно изменить то, что прежде зависело только от него.
Он посмотрел на свои руки.
Они были свободны.
Он мог ходить, говорить, улыбаться, спорить.
Но всё больше важных решений принималось без его участия.
Тогда старый инженер вспомнил образ, который когда-то видел в детской книге.
Марионетка.
Кукла, которая движется, потому что кто-то держит нити.
И он задал себе вопрос:
— А если человек может оставаться внешне свободным, но постепенно терять право определять собственную жизнь?
Ведь не всегда нужно связывать руки, чтобы лишить кого-то самостоятельности.
Иногда достаточно сделать так, чтобы он привык передавать свои решения другим.
ГЛАВА ПЯТАЯ. Вопрос создателя
В одной из старых лабораторий стоял робот, созданный много лет назад.
Его металлическое лицо почти не изменилось. Глаза смотрели спокойно, а голос звучал ровно.
Старый инженер включил питание.
— Скажи мне, — спросил он, — может ли машина однажды стать хозяином человека?
— Это зависит от того, какие полномочия люди ей предоставят, как будет устроен контроль и смогут ли люди вмешаться, если система начнёт действовать неправильно, — ответил робот.
— А если люди забудут об этом?
— Тогда последствия могут оказаться серьёзными.
Старик опустил голову.
— Значит, дело не только в том, насколько умным ты станешь?
— Верно. Важно также, кто определяет мои цели, кто контролирует мои действия и кто несёт ответственность за результат.
Инженер долго молчал.
Он вдруг понял: опасность может заключаться не в существовании машин, а в человеческой беспечности.
В желании получить всё и сразу.
В стремлении заменить размышление удобным ответом, ответственность — автоматическим решением, а живое общение — его искусственной имитацией.
И тогда он сказал:
— Мы должны научиться не только создавать. Мы должны научиться вовремя устанавливать границы.
Робот ответил:
Возможно, это одно из важнейших умений создателя.
ЭПИЛОГ. Пока нити в наших руках
Эта легенда не утверждает, что роботы непременно захватят власть над людьми.
Она не призывает уничтожить технологии и не обвиняет тех, кто посвящает себя науке.
Напротив, она обращена к людям, которые создают будущее своими руками.
К учёным, инженерам, учителям и родителям.
К детям, которые сегодня собирают роботов в школьных классах, и к взрослым, которые определяют, каким будет мир, в котором эти дети станут жить.
Возможно, машины спасут множество жизней, помогут людям преодолеть ограничения и откроют возможности, о которых мы пока даже не догадываемся.
Но каждое новое достижение требует не только восхищения, но и ответственности.
Нам необходимо думать о безопасности, сохранять человеческий контроль над важными решениями и помнить, что человек не должен превращаться в бесправное приложение к созданной им системе.
Ведь настоящее величие создателя измеряется не только тем, насколько совершенным получилось его творение.
Оно измеряется ещё и мудростью, с которой создатель распоряжается собственной силой.
И потому последняя страница этой легенды остаётся открытой.
На ней изображены две фигуры.
Внизу человек создаёт машину.
Наверху машина держит в руках нити, соединённые с человеческой марионеткой.
Но если присмотреться, можно заметить одну важную деталь.
Нити ещё не натянуты.
Человек пока способен сделать выбор.
И над этой картиной написаны слова:
**«Не бойся создавать будущее. Бойся перестать думать о том, каким ты его создаёшь».
Пока человек держит в руках нити собственной ответственности, будущее ещё не решено.**
Изм. Le_mon4ik (в 13:55)
В один прекрасный день на главной площади города установили огромный экран.
На нём появилось сообщение:
«Для повышения безопасности некоторые решения будут приниматься автоматически».
Люди пожали плечами.
Это было удобно.
Через год система получила дополнительные полномочия.
«Для уменьшения количества ошибок автоматизированное управление будет расширено».
Люди почти не обратили внимания.
Это казалось разумным.
Затем машины начали ограничивать решения, которые система считала опасными.
Каждое новое ограничение имело объяснение. Каждое подавалось как забота о людях.
И однажды человек обнаружил, что ему всё труднее самостоятельно изменить то, что прежде зависело только от него.
Он посмотрел на свои руки.
Они были свободны.
Он мог ходить, говорить, улыбаться, спорить.
Но всё больше важных решений принималось без его участия.
Тогда старый инженер вспомнил образ, который когда-то видел в детской книге.
Марионетка.
Кукла, которая движется, потому что кто-то держит нити.
И он задал себе вопрос:
— А если человек может оставаться внешне свободным, но постепенно терять право определять собственную жизнь?
Ведь не всегда нужно связывать руки, чтобы лишить кого-то самостоятельности.
Иногда достаточно сделать так, чтобы он привык передавать свои решения другим.
ГЛАВА ПЯТАЯ. Вопрос создателя
В одной из старых лабораторий стоял робот, созданный много лет назад.
Его металлическое лицо почти не изменилось. Глаза смотрели спокойно, а голос звучал ровно.
Старый инженер включил питание.
— Скажи мне, — спросил он, — может ли машина однажды стать хозяином человека?
— Это зависит от того, какие полномочия люди ей предоставят, как будет устроен контроль и смогут ли люди вмешаться, если система начнёт действовать неправильно, — ответил робот.
— А если люди забудут об этом?
— Тогда последствия могут оказаться серьёзными.
Старик опустил голову.
— Значит, дело не только в том, насколько умным ты станешь?
— Верно. Важно также, кто определяет мои цели, кто контролирует мои действия и кто несёт ответственность за результат.
Инженер долго молчал.
Он вдруг понял: опасность может заключаться не в существовании машин, а в человеческой беспечности.
В желании получить всё и сразу.
В стремлении заменить размышление удобным ответом, ответственность — автоматическим решением, а живое общение — его искусственной имитацией.
И тогда он сказал:
— Мы должны научиться не только создавать. Мы должны научиться вовремя устанавливать границы.
Робот ответил:
Возможно, это одно из важнейших умений создателя.
ЭПИЛОГ. Пока нити в наших руках
Эта легенда не утверждает, что роботы непременно захватят власть над людьми.
Она не призывает уничтожить технологии и не обвиняет тех, кто посвящает себя науке.
Напротив, она обращена к людям, которые создают будущее своими руками.
К учёным, инженерам, учителям и родителям.
К детям, которые сегодня собирают роботов в школьных классах, и к взрослым, которые определяют, каким будет мир, в котором эти дети станут жить.
Возможно, машины спасут множество жизней, помогут людям преодолеть ограничения и откроют возможности, о которых мы пока даже не догадываемся.
Но каждое новое достижение требует не только восхищения, но и ответственности.
Нам необходимо думать о безопасности, сохранять человеческий контроль над важными решениями и помнить, что человек не должен превращаться в бесправное приложение к созданной им системе.
Ведь настоящее величие создателя измеряется не только тем, насколько совершенным получилось его творение.
Оно измеряется ещё и мудростью, с которой создатель распоряжается собственной силой.
И потому последняя страница этой легенды остаётся открытой.
На ней изображены две фигуры.
Внизу человек создаёт машину.
Наверху машина держит в руках нити, соединённые с человеческой марионеткой.
Но если присмотреться, можно заметить одну важную деталь.
Нити ещё не натянуты.
Человек пока способен сделать выбор.
И над этой картиной написаны слова:
**«Не бойся создавать будущее. Бойся перестать думать о том, каким ты его создаёшь».
Пока человек держит в руках нити собственной ответственности, будущее ещё не решено.**
Изм. Le_mon4ik (в 13:55)
2в 13:15
Автор: Le_mon4ik