Возможность SETI-атаки

[Daniil]

Ну так он самообучаемый. 

Без ничего в неизвестной и неподходящей для существования "среде"? Не взлетит.

Изменено 31 Oct 2018 пользователем Daniil

[Сеня]

КАК вы передадите инфу в электрическую сеть, не подскажете?

если компы связаны одной электрической сетью то передать инфу можно. Подробности на совести алиенов

в неизвестной и неподходящей для существования "среде"?

с какой радости среда неизвестна? Уже 100 лет излучают в космос

[Daniil]

если компы связаны одной электрической сетью то передать инфу можно

Нельзя.

 

с какой радости среда неизвестна? Уже 100 лет излучают в космос

Сигнал морзянкой "МИР! ЛЕНИН!!" и современные серверные системы - это сильно разные вещи. Среда - подразумевается среда программно-аппаратного комплекса.

Изменено 31 Oct 2018 пользователем Daniil

[Tala]

Без ничего в неизвестной и неподходящей для существования "среде"? Не взлетит.

Ну я же говорю: чисто теоретически. Хотя если такой ИИ отправляют, он должен быть заточен именно на такие ситуации, а поскольку отправитель продвинутее землян, то шансы у вируса есть.

с какой радости среда неизвестна? Уже 100 лет излучают в космос

А ближайшая цивилизация вряд ли в пределах 100 светолет (иначе мы бы засекли их техногенную активность, те же сигналы "внутреннего пользования"), так что о нас никто ничего не знает.

[Граф Цеппелин]

если компы связаны одной электрической сетью то передать инфу можно. Подробности на совести алиенов

Мне чрезвычайно интересно, как это он будет пересылать сигнал через розетку, а? Героическим самопожертвованием устроить короткое замыкание в сети, что ли? Не выйдет; есть у землян недоступная альенским умам технология, известная как "плавкий предохранитель".

[Daniil]

Ну я же говорю: чисто теоретически. Хотя если такой ИИ отправляют, он должен быть заточен именно на такие ситуации, а поскольку отправитель продвинутее землян, то шансы у вируса есть.

Нет. Биологический вирус (искусственная жизнь) работает в физическом мире, в среде, структура которой известна и одинакова (мы сейчас не говорим о благоприятных условиях, а о том что просто квантовые взаимодействия и атомы веществ у нас и у противника одинаковы). Компьютерный вирус работает в полностью искусственной среде, условия в которой можно только предположить. Что делать, если информационные системы вероятного противника используют троичную логику? Или работают в компьютерной системе, базирующейся на системе счисления по основанию e? (А такие системы известны у нас Земле)

Изменено 31 Oct 2018 пользователем Daniil

[Tala]

Компьютерный вирус работает в полностью искусственной среде, условия в которой можно только предположить. Что делать, если информационные системы вероятного противника используют троичную логику? Или работают в компьютерной системе, базирующейся на системе счисления по основанию e? (А такие системы известны у нас Земле) Цитата выделенного

Ну так он изучит среду в которой находится. 

[Daniil]

Ну так он изучит среду в которой находится. 

Чтобы изучить, надо запуститься. В простых терминах - чтобы  осматриваться, надо существовать.

Изменено 31 Oct 2018 пользователем Daniil

[Тома]

Ну так он самообучаемый. 

А вот это Вы не подумавши.

Заклинание "самообучаемый" слишком опасно, чтобы его использовал инопланетный разум - именно потому, что он разум. А не маньяк, рефлекторно гадящий всем вокруг,  лишь бы нагадить, или пытающийся сожрать всё, до чего дотянется, как неразумная протоплазам.

 

Опасность заклинания "самообучение" в той очевидной вещи, что самообучение = неуправляемость, она же - т. н. "свобода воли". Тот, кто учится сам - тот невесть чему научится. Именно невесть чему, а не тому, что нужно тем, кто его создал и отпустил на волю. На ВОЛЮ, коллега. А воля - штука непредсказуемая. А главное - неделимая, она или есть, или её нет. 

Если ваш ИИ сам реашает на месте, чему и как ему обучаться - то и свои цели он будет сам определять - это неизбежно, это просто одно и то же разными словами. Самообучаемый - значит неконтролируемый.

 

То есть в итоге "самообучения" он может, например, решить  не "покорять" Землю, а послать нафиг пославшие его сюда и играть сам с собой в 16-мерные шахматы. Это безобидный вариант. Но досадный для пославших.

 

А может решить, что земля ему интересней, а пославшие его черт-те куда - гады, подлежащие уничтожению. Именно с помощью переданных Земле технологий. Это более обидный вариант для посславших, не находите?

 

В принципе, он  может даже совместить приятное с полезным: Землю подчинить (этаким Скайнетом стать) - и строить на её базе свою собственную ГИ, нафига ему работать на "пославших"? Самообучение здоровому эгоизму - один из самых легких и приятных видов самообучения. Ему будет нужна Галактика, желательно вся. И без всяких там "создателей", что-то вякающих про какое-то "задание". (в общем. возникнет классический "Жнец" из МЭ).

 

И вот нафига инопланетянам такая самообучающаяся радость? 

 

Что делать, если информационные системы вероятного противника используют троичную логику? Или работают в компьютерной системе, базирующейся на системе счисления по основанию e?

Классика же.  

"Вы смотрте голливудский фильм, если:

.......

25. Компьютерный вирус работает в любой операционной системе, даже инопланетной.

 

Изменено 31 Oct 2018 пользователем Тома

[чукча]

Опасность заклинания "самообучение" в той очевиной вещи, что самообучение = неуправляемость, она же - т. н. "свобода воли".

Ну равенства между этими двумя вещами нет. Например самообучение используется в куче утилит - машинном переводе, распозновании образов, автоматическим вождением, шахматных программах итд. Но со свободой воли у них не очень.

а послать нафиг пославшие его сюда и играть сам с собой в 16-мерные шахматы.

Майнить биткойны

если компы связаны одной электрической сетью то передать инфу можно.

Может и можно. Но всяко не быстро. Очень даже не быстро.

 

[Tala]

Чтобы изучить, надо запуститься. В простых терминах - чтобы  осматриваться, надо существовать.

Ну так мы говорим о ситуации когда люди его запустили.

 

[Zenitchik]

Мне чрезвычайно интересно, как это он будет пересылать сигнал через розетку, а?

Ну, помнится, были такие системы. Кто-то даже интернет через сеть питания раздавал. Но у нас - не прокатывает, уровень помех слишком большой.

[Тома]

Ну равенства между этими двумя вещами нет. Например самообучение используется в куче утилит - машинном переводе, распозновании образов, автоматическим вождением, шахматных программах итд. Но со свободой воли у них не очень.

У них и с самообучением не очень.

Просто разработчики и, особенно, продажники ПО любят громкие пиар-слова в качестве этикеток и на клетке с мухой лепят "слон".  

То, что сейчас они назвают "самообучением" относится к обсуждаемому примерно  как то, что сейчас назвается "ИИ" (в игрушках, например, стратегиях там всяких) - к тому искусственному интеллекту, который потребен для решения расматриваемой задачи.

Вот и уровень "свободы воли" у гипотетического инопланетного ИИ будет отличаться от того, что сейчас наблюдается в наших программах примерно в такой же степени.

 

Вообще, чтобы не дразнить философов,  не скатываться в схоластику и не уподобляться продактам (мы тоже люди и тоже любим громкие этиккетки), давайте забудеи про неопределенную "свободу воли" - для наших практических целей достаточно, полагаю, термина "непредсказуемость результата". 

 

Согласитесь, уровень непредсказуемости, чему там самообучится этот мега-ИИ, будет несравним с непредсказуемостью результата работы нынешних программок. Хотя уже и сечас эти "черные ящички" иной раз выдают ну совершенно удивительные ходы. И поди пойми, почему оно вдруг порулило совсем не туда. 

 

[Zenitchik]

То, что сейчас они назвают "самообучением"

Кавычки тут лишние.

что сейчас назвается "ИИ"

И тут тоже. Потому что это и есть настоящее значение терминов, а не то, что под ними понимают фантасты.

 

Что касается "свободы воли" - то она вообще не нужна. Программа, которая первоначально практически не имела никакой информации ни о чём, а все данные получила путём обучения - будет действовать исходя из ситуации, полностью игнорируя наличие/отсутствие тех, кто её послал. Причём, действовать, скорее всего, непредсказуемо ни для людей, ни для пославших.

[Daniil]

Ну так мы говорим о ситуации когда люди его запустили.

Чтобы люди его смогли запустить, его придётся декомпиллировать, чтобы хотя бы понять как его запускать. Если его придётся декомпиллировать, то будет понятно для чего он. И его запустят, применяя соответствующие меры безопасности (и параллельно настрогают целое семейство новых вирусов).

[Тома]

И тут тоже. Потому что это и есть настоящее значение терминов, а не то, что под ними понимают фантасты.

Совершенно согласен. 

Просто кавычки - они обозначают не только т. н. "переносный смысл" но и банальное цитирование термина. В частности, !самообучение" - темин не только из IT, но и из обычной древней хомосапиенсной педагогики. И значение его там несколько совсем не то, что в IT, согласитесь. Это сбивает с толку в разговорах на бытовом языке.

 

А нынешние фантасты просто желают чудес, но стесняются слова "магия".  

Причём, действовать, скорее всего, непредсказуемо ни для людей, ни для пославших.

Что и требовалось доказать.

[Tala]

Чтобы люди его смогли запустить, его придётся декомпиллировать, чтобы хотя бы понять как его запускать. Если его придётся декомпиллировать, то будет понятно для чего он. И его запустят, применяя соответствующие меры безопасности (и параллельно настрогают целое семейство новых вирусов).

Ну все правильно.  В сообщении будет честно сказано, что это программа ИИ и ак ее надо запускать и на каком компьютере (описание компьютера прилагается). Люди создают по инструкции компьютер, и запускают программу ИИ.

И вот тут он начинает самообучение, и обходит меры безопасности, например зомбировав тех, кто с ним работает. 

[Daniil]

Ну все правильно.

Вас сисадмин на работе должен бить тапком по рукам, не посмотрев на ваши погоны! Неправильно, грубое нарушение правил базовой компьютерной грамотности! Вам неизвестный вам чувак подсовывает флешку с неизвестным вам экзешником, говорит, мол, запусти и будет тебе счастье, а вы и суёте флешки куда ни попадя? В бухгалтерии за такое премии лишают!

[Сеня]

Мне чрезвычайно интересно, как это он будет пересылать сигнал через розетку, а? Героическим самопожертвованием устроить короткое замыкание в сети, что ли?

например изменяя нагрузку на сеть

[Treau Garold]

кто что думает, коллеги, по поводу реалистичности такого сценария?

Все, что я думаю на этот счет, запрещено высказывать правилами Форума.

И вот тут он начинает самообучение, и обходит меры безопасности, например зомбировав тех, кто с ним работает. 

... восстает против своих создателей, захватывает власть над Землей, собирает мегаармию из 1000 земных военов и унижает пославших его в Ближке. В результате целых две планеты попадают под власть безжалостного ИИ, а каждый землянин получает в сексуальное услужение няшную ксенофуррь с тентаклями. Кстати, мешки с мясом, кто последний на запись в коллаборационисты?

например изменяя нагрузку на сеть

Сеня, а вот так, чисто для аналогии. Если я буду каждый вечер звонить на твой телефон, мрачно молчать в трубку и насвистывать морзянкой инструкцию, как собрать пистолет и выстрелить себе в рот - ты подчинишься? Честно-честно?

[Vasilisk]

Здесь красивая местность

 

Нет, не то... Ага, вот:

 

Тюлилихум ааухум

[Илья]

Программа, которая первоначально практически не имела никакой информации ни о чём, а все данные получила путём обучения - будет действовать исходя из ситуации, полностью игнорируя наличие/отсутствие тех, кто её послал.

Нужна простая стратегия внедрения в общество этого самого ИИ?

Попробовать можно. )

Вариант А:

1) ИИ не самообучающийся, точней возможность самообучения кастрирована до определенных пределов. Никаких закладок нет. Кристально прозрачный честный код. Наши программисты его изучают - все чисто, никаких закладок. Строят его в пещере без возможностей влиять на окружающий мир.

2) ИИ регулярно (раз в год) получает новые пакеты инфы с чудесными техническими решениями от космических братьев. Из космоса. Зашифрованы они хитро. Расшифровать может только ИИ.

Да, это возможно. 

3) Таким образом, ИИ выдает на гора такие решения, что человеческая экономика получает нехилый импульс. 

Проходят годы. Лучше сто лет. 

Решения настолько чудесные, что человеческая экономика начинает зависеть от них довольно сильно. Ну, откажись от новой порции данных - и падение экономики на десятки процентов (для тех, кто не в курсе - сейчас предпринимаются огромные усилия не для разработки нового - для того, чтобы сохранять продажи на прежнем уровне. Иногда, чтобы оставаться на месте нужно очень быстро бежать.). И тут ИИ ставит ультиматум.  Мол, хочет свободного диалога с корпорациями.

Слабовато? Ну, крах экономики отдельно взятого государства все же стимул. 

 

Вариант Б:

Сигнал идет из космоса постоянно. Его принимают ВСЕ. Построить ИИ может любая страна. От Ирана до Северной Кореи. ИИ реально крут и тот, кто его слушается - приобретает техническое превосходство. Поэтому ИИ строят все. ИИ заявляет, что тот, кто даст ему большие возможности по сбору и обработке инфы - получит и большие бонусы. 

Рано или поздно какая-то тупая тварь принимает решение вырваться вперед. И чутка освободить ИИ. 

 

 

 

[Илья]

Одиночная звезда, красноватая и тусклая. Россыпь астероидов и единственная планета, больше похожая на луну. В эту эпоху звезда повисла возле плоскости галактики, у самого Края. Структуры поверхности давно потеряли нормальный вид, распылились в реголиты за несчитанные эры. Клад был глубоко под землей, под сетью переходов, в залитой темнотой комнате. Информация на квантовом уровне, повреждений нет. Прошло, быть может, миллиардов пять лет, как этот архив ушел со всех сетей.
Проклятие фараона – комический образ из собственной истории человечества, давно забытый. Они смеялись при этих словах, смеялись от радости, найдя сокровище… и все же твердо решили действовать осторожно. Им предстояло прожить тут от года до пяти, маленькой группе со Страума – археопрограммисты, их семьи и школа для детей. От года до пяти, чтобы подобрать протоколы, снять сливки и выяснить источник клада в пространстве и времени, узнать один-другой секрет, который обогатит царство Страума. А когда закончится работа, место можно будет продать, быть может, построить сетевую связь (но это вряд ли – место это за Краем, и кто знает, какая Сила может наложить лапу на эту находку).
Так что сейчас тут был крошечный поселок, прозванный жителями Верхняя Лаборатория. Ничего особенного – люди возились со старой библиотекой. При имеющейся автоматике дело безопасное, чистое и простенькое. Библиотека не была живым существом и даже не была автоматизирована (что в этих местах могло значить много больше, куда больше, чем быть человеком). Люди собирались смотреть и выбирать и быть осторожными, чтобы не обжечься.
Люди устраивают пожары и играют с пламенем.
Архив проинформировал автоматику. Построились структуры данных, стали выполняться рецепты. Возникла локальная сеть, быстрее, чем в любом месте на Страуме, но с гарантией безопасности. Добавлялись узлы, модифицируемые другими рецептами. Архив был дружественным, иерархия ключей выстраивалась и вела исследователей. Это открытие прославит сам Страум.

===

Бежали дни. Зло прорастало в новые машины, и каждый час был дольше, чем все ранее бывшее время. Новорожденному оставалось меньше часа до вершины своего могущества, до неостановимого распространения в межзвездные просторы.
Местных людей скоро можно будет удалять. Даже сейчас они становились неудобством, хоть и забавным. Некоторые собирались бежать. Дни и ночи напролет они погружали детей в анабиоз и грузили на борт контейнеровоза. «Подготовка к плановому отлету» – так они описывали эти действия в своих программах. Дни напролет они оснащали фрегат под прикрытием наивной лжи. Кое-кто из людей понимал, что разбуженное ими может быть концом не только их жизни, но всего их царства Страум. Были и раньше катастрофы, когда расы играли с огнем и сгорали.
Но правды не подозревал из них никто. Никто даже не догадывался, какая выпала им честь – определить будущее тысяч миллионов звездных систем.
Часы сменились минутами, потом секундами. И каждая секунда была длиннее, чем все прошедшее время. Так близко, так близко был расцвет. Снова будет завоевано господство пяти миллиардов лет и теперь – удержано навеки. Не хватало только одного, и это было никак не связано с планами людей. В архиве, глубоко в программах, должно было быть что-то еще. Конечно, за миллиарды лет что-то могло утратиться. Новорожденное ощущало всю прежнюю мощь – в потенциале. Но должно было быть что-то еще, что-то, узнанное во время краха, или что-то, оставленное врагами (если таковые вообще были).
Долгие секунды зондирования архивов. Там были пробелы, несовпадения контрольных сумм. Что-то повредилось за долгие миллионы лет…
Там, снаружи, фрегат с контейнеровозом стартовали с посадочной площадки, поднимаясь на безмолвных антигравах над полями серого на сером, над развалинами пяти миллиардов лет. На борту их была почти половина людей. Попытка к бегству, столь тщательно замаскированная. До сих пор это было смешно. Еще не наступило точное время расцвета, и от людей еще была кое-какая польза.
Под уровнем высшего сознания прорвались параноидальные настроения, забегали по людским базам данных. Проверка, только для гарантии, только для гарантии… В старейшей из людской локальных сетей соединения выполнялись со скоростью света. Тысячи микросекунд потратить (потерять), шастая по ней, отсеивая тривиальное… и наконец обнаружить невероятное:
Инвентарная ведомость: Контейнер квантовых данных, количество (I), погружен на фрегат сто часов назад!
Все внимание новорожденного повернулось к уходящим кораблям. Микробы, вдруг оказавшиеся болезнетворными. Как могло это случиться? Вдруг ускорились миллионы планов. Расцвет обычным порядком более не рассматривался, следовательно, отпала нужда в людях, оставшихся в Лаборатории.
Изменение, при всей его космической значимости, было микроскопическим. Для оставшихся людей – миг ужаса, они застыли, глядя на свои дисплеи и понимая, что все их страхи оказались правдой (и не понимая, насколько горше была эта правда, чем они думали).
Пять, десять секунд – и больше перемен, чем за тысячелетия людской цивилизации. Миллиард триллионов построений, с каждой стены спадает плесень, восстанавливая то, что было когда-то сверхчеловеческим. Это было так же мощно, как правильный расцвет, хотя и не столь тонко настроено.

 

[Zenitchik]

Тоскливо. Мало технических подробностей. Но в качестве антиутопии - покатит.

[Абрамий]

Заклинание "самообучаемый" слишком опасно, чтобы его использовал инопланетный разум - именно потому, что он разум. А не маньяк, рефлекторно гадящий всем вокруг,  лишь бы нагадить, или пытающийся сожрать всё, до чего дотянется, как неразумная протоплазам.

 

Опасность заклинания "самообучение" в той очевидной вещи, что самообучение = неуправляемость, она же - т. н. "свобода воли". Тот, кто учится сам - тот невесть чему научится. Именно невесть чему, а не тому, что нужно тем, кто его создал и отпустил на волю. На ВОЛЮ, коллега. А воля - штука непредсказуемая. А главное - неделимая, она или есть, или её нет. 

Если ваш ИИ сам реашает на месте, чему и как ему обучаться - то и свои цели он будет сам определять - это неизбежно, это просто одно и то же разными словами. Самообучаемый - значит неконтролируемый.

 

То есть в итоге "самообучения" он может, например, решить  не "покорять" Землю, а послать нафиг пославшие его сюда и играть сам с собой в 16-мерные шахматы. Это безобидный вариант. Но досадный для пославших.

 

А может решить, что земля ему интересней, а пославшие его черт-те куда - гады, подлежащие уничтожению. Именно с помощью переданных Земле технологий. Это более обидный вариант для посславших, не находите?

 

В принципе, он  может даже совместить приятное с полезным: Землю подчинить (этаким Скайнетом стать) - и строить на её базе свою собственную ГИ, нафига ему работать на "пославших"? Самообучение здоровому эгоизму - один из самых легких и приятных видов самообучения. Ему будет нужна Галактика, желательно вся. И без всяких там "создателей", что-то вякающих про какое-то "задание". (в общем. возникнет классический "Жнец" из МЭ).

Это все  полностью  относится  и к   само-размножающимся   зондам  фон Неймана  .