Позитронный мозг в РИ уже в 1970гг.

[Telserg]

Прочитал сегодня новость на техническом сайте: https://www.tomshardware.com/tech-industry/artificial-intelligence/ai-researchers-found-a-way-to-run-llms-at-a-lightbulb-esque-13-watts-with-no-loss-in-performance мол ученые смогли ускорить решения задач ИИ в десятки раз перейдя на троичную логику и условно умную память.

How was MatMul removed from a neural network while maintaining the same performance and accuracy? The researchers combined two methods. First, they converted the numeric system to a "ternary" system using -1, 0, and 1. This makes computation possible with summing rather than multiplying numbers. They then introduced time-based computation to the equation, giving the network an effective "memory" to allow it to perform even faster with fewer operations being run.

Сразу подумал, а почему бы что-то подобное не реализовать пораньше, скажем после экспериментов с Сетунью создали логический элемент "-1"-"0"-"1"-"нет ответа", на основе которого реализовали умную память с матричным сопроцессором, который мог хранить четыре значения в ячейке: “нет"-"не важно"-"да"-"нет ответа" и мог складывать и вычитать матрицы непосредственно в своей памяти.

В железе это реализовано было так: трит реализован по типу ячейки SSD и может хранить пониженный, средний, повышенный заряд или быть пустым.

При записи ячейки доступны команды считать заряд, увеличить заряд, уменьшить заряд и стереть заряд.

Если в ячейке нет заряда, то она не выдает ответа на запрос считать заряд.

Сопроцессор первого поколения состоял из 65 536 тритов и мог соответственно производить вычисления на матрицах 256х256. 

Допускалось подключение до 4х блоков-сопроцессоров к большим ЭВМ типа ЕС ЭВМ и работа в паре с малыми ЭВМ.

 

 

[Telserg]

Первой языковой моделью, запущенной  на позитронном мозге, стал Ленин-1974.

К 50-летию смерти вождя учёные пообещали что на основе ПСС Ленина воссоздадут нейронную модель работы мозга.

И сдержали обещание!

В общем и целом система могла вести осмысленный текстовый диалог с пользователем, спотыкаясь лишь на частных вопросах типа "Какие цели ставят большевики перед авангардом науки - учеными кибернетиками?", переводя в этих случаях разговор на поднятие производительных сил, как-то так:

Кибернетика является архиважнейшей составляющей научно-технического прогресса и следовательно ученые-кибернетики должны выступать в авангарде сближения с производством, участвовать в создании целой сети новых научно–прикладных институтов, лабораторий, испытательных станций, опытных производств по проверке новых технических методов, усовершенствований и изобретений. КПСС, поддерживая все эти меры, стремится к дальнейшему их развитию и созданию наиболее благоприятных условий научной работы в ее связи с поднятием производительных сил страны. 

Следующим этапом встал вопрос о развитии модели, для чего необходимо стало подготовить в электронном виде целостный массив текстов по марксизму-ленинизму с учётом коэффициента их полезности.

Институт марксизма-ленинизма под руководством своячника Суслова тов. Егорова взял на себя коммунистическое обязательство выполнить такие работы в полном объеме к 1980 г.

[Vasilisk]

С т. зр. тогдашнего официального марксизма-ленинизма, попытки нейросетевых и прочих подобных попыток издевательств над текстами классиков есть начётничество и механицизм. Они будут категорически несогласны с редукционистской попыткой свести великий творческий труд исследователей марксизма к перемешиванию буковок в электронном устройстве.

[Звёзды Светят]

Они будут категорически несогласны

 

А если им научники подадут готовую машинку, что не токмо цитирует МЭЛС, но и трактует?!...

 

[Telserg]

С т. зр. тогдашнего официального марксизма-ленинизма

Совершенно согласен с Вами, коллега.

Поэтому позиционирование изначально совсем другое, в честь 50-летия смерти ВИЛа ученые-кибернетики создают позитронную модель его мозга как технологический демонстратор (а также обещают что можно будет смоделировать ядерные испытания и обучить умные бомбы поражать исключительно эксплуататоров).

А дальше Брежнев, Суслов и Егоров соображают на троих

[sanitareugen]

А если им научники подадут готовую машинку, что не токмо цитирует МЭЛС, но и трактует?!...

А вот за это убьют. Потому как это покушение не на Теорию, а на зарплату...

[AltoClef]

Все-таки 1974 год - слишком рано, с точки зрения построения искусственных нейросетей. Только в 1970, емнип, началась критика работ Розенблатта, т.е. первые шаги в сторону более-менее практичных нейросетей. 
Коллеги, может, кто-то знает, а для каких задач использовалась "Сетунь"? Точно не для искусственных нейросетей, конечно, а конкурировать в приросте производительности с двоичными системами она не могла. 

[sanitareugen]

Насколько я понимаю, выигрыш в скорости и энергопотреблении предполагается за счёт замены умножений сложениями. А это предполагает резкое загрубление коэффициентов, до -1, 0, 1. Скорее всего, попросту работать не будет.

[Telserg]

Все-таки 1974 год - слишком рано, с точки зрения построения искусственных нейросетей

Я держу в голове что изначальной целью являлись матричные вычисления для космоса, радиолокации, ядерной физики и т.д., а дальше ученых спросили, а как вы будете отмечать юбилей смерти вождя мирового пролетариата и понеслось.

А это предполагает резкое загрубление коэффициентов, до -1, 0, 1. Скорее всего, попросту работать не будет.

Я конечно не настоящий сварщик, но вроде для многих вычислений достаточно 4 вариантов: больше нуля/около нуля/меньше нуля/точно-точно нуль (т.е. что-то типа моделей, которые в основе своей int4), плюс можно играться с длиной слова, объединяя несколько тритов, скорость разумеется будет падать, но точность возрастет. (Для этого я и предусмотрел параллельное подключение до 4 "позитронных мозгов" к машинам класса ЕС ЭВМ).

Коллеги, может, кто-то знает, а для каких задач использовалась "Сетунь"

Я так понял что не для каких по большому счету, при сравнении в лоб она проигрывала всем одноклассникам, преимуществом были лишь  более низкий порог входа (как стоимость системы, так и простота обучения) и теоретическая возможность в будущем использовать диалоговую систему структурированного программирования (ДССП). Примерно как Спектрум vs IBM PC.

P.S. немного инфы "Бурцев А.А., Сидоров С.А. История развития ДССП: от "Сетуни 70" до троичной виртуальной машины" https://ternarycomp.cs.msu.ru/Papers/dssphistory.pdf 

Изменено Thursday в 21:21 пользователем Telserg

[sanitareugen]

Коллеги, может, кто-то знает, а для каких задач использовалась "Сетунь"? Точно не для искусственных нейросетей, конечно, а конкурировать в приросте производительности с двоичными системами она не могла. 

Машина общего назначения. По производительности на уровне тогдашних серийных (4500 оп/с у "Сетуни", "Минск-1" 3000 оп/с, "Минск-22" 5-6 тысяч, но это уже 1965 год, "Урал-2" 5000, а "Урал-1" и вовсе 100 оп/с). Использовалась для расчётных работ и обучения (из 46 выпущенных 30 в университетах и учебных институтах).

[de_Trachant]

Первой языковой моделью, запущенной  на позитронном мозге, стал Ленин-1974.

А "Сталин-3000" будет, извените?

[AltoClef]

Я держу в голове что изначальной целью являлись матричные вычисления для космоса, радиолокации, ядерной физики и т.д., а дальше ученых спросили, а как вы будете отмечать юбилей смерти вождя мирового пролетариата и понеслось.

Коллега, с моей точки зрения, основной проблемой является не столько дефицит мощности, и не столько проблемы бинарной арифметики, сколько именно абсолютно низкий уровень теории искусственных нейронных сетей. Только Галушкина могу вспомнить. Чтобы создать "модель" (будь то языковая, или любая другая) того же Ленина, нужно чтобы ИНС появились в СССР никак не позже 1950, вот тогда к 1974 можно было обучить языковую модель (даже не представляю на базе каких ЭВМ, но это дело наживное, главное - финансирование) на всех трудах Ленина. 

[Vasilisk]

"Сталин-3000"

 

Извените, не удержался

 

[Telserg]

сколько именно абсолютно низкий уровень теории искусственных нейронных сетей

Тогда предположим что теорию стали развивать вместо попыток ОГАСа уже в пятидесятых, а к концу шестидесятых, когда дошли слухи что в MIT создали виртуальную личность Элизу задумались уже о практическом применении. 

Я правда изначально думал что если к середине шестидесятых у нас есть представление о "железе", которое хорошо умеет в матрицы, то достаточно будет вопроса сверху, мол наши разведчики выяснили что в MIT проводят эксперименты с искусственным собеседником, почему наши учёные так не могут?!

А "Сталин-3000" будет

Его тайно создали в Кутаиси в рамках реконструкции завода им. Орджоникидзе, но из-за того что увлекшиеся идеей создатели сначала прикрутили перевод на грузинский, а потом начали его совершенствовать, то языковая модель путала русские и грузинские слова. Отчаявшись исправить эту недоработку грузины приняли решение выводить все ответы латиницей, и с этого момента sheni dedis стало синонимом сообщения об ошибке и прочно вошло лексикон всех программистов СССР.

 

[AltoClef]

Тогда предположим что теорию стали развивать вместо попыток ОГАСа уже в пятидесятых, а к концу шестидесятых, когда дошли слухи что в MIT создали виртуальную личность Элизу задумались уже о практическом применении.  Я правда изначально думал что если к середине шестидесятых у нас есть представление о "железе", которое хорошо умеет в матрицы, то достаточно будет вопроса сверху, мол наши разведчики выяснили что в MIT проводят эксперименты с искусственным собеседником, почему наши учёные так не могут?!

А я вот думаю, что тут надо как раз активно начинать опыты с ОГАС, ведь исторично нейросети развивались в два этапа - первичный, без массового внедрения в производство - с 1962 до конца 1980-х, и второй, современный, который и привел к появлению огромных языковых моделей. 
На правах фэнтези опишу это более подробно.
В начале 1950-х кто-то из видных кибернетиков получил громадную власть в государстве(идеально, если Гаазе-Рапопорт, хуже, если Полетаев), чудесным образом уничтожил сопротивление в партии и начал быстрые реформы с упором на кибернетику и автоматизацию, включая следующие шаги:
1) Упор на гражданское использование достижений кибернетики. Так и вижу плакаты "ЭВМ - на службу народу!" )
2) Сокращение армейского контроля над производством ЭВМ
3) Реализация ОГАС в самом широком варианте
И вот, во время очередного пилотного проекта ОГАС во всю ширину стал вопрос оцифровки громадных массивов технической документации. С кибернетическим размахом для оцифровки были использованы нейросети, которые стали развиваться ударными темпами, а глубокая интеграция в промышленность стала основой появления и больших языковых моделей, и комп. зрения куда раньше. 
Конечно, фантастика абсолютная, но черт возьми, красиво)

Изменено Friday в 15:02 пользователем AltoClef

[Звёзды Светят]

Реализация ОГАС в самом широком варианте

 

В какой-то мере  это было при Иосеньке  товарище Сталине.

С тех времён сохранились такие легенды, что  тогда всякий достаточно большой начальник каждую полночь сидел возле телефона со свежими сводками по своей конторе. 

Потому как знал - в это время суток ему может позвонить аж сам Иосенька товарищ Сталин с вопросом о текущем состоянии дел...

 

[digger]

 Троичная логика не имеет отношения к нейросетям, она оптимальнее двоичной для классических вычислений по не помню какой теореме.Сетунь это преимущество не реализовывала, так как троичная логика реализовывалась фактически эмуляцией, это была такая исследовательская работа. Сам по себе позитронный мозг из фантастики - нейросеть, модель реального мозга. Если бы вдруг в СССР или где-либо реализовали - военное применение и строго засекречено, боевые ОБЧР, а до мозга Ленина - очень далеко.

[Telserg]

С кибернетическим размахом для оцифровки были использованы нейросети, которые стали развиваться ударными темпами, а глубокая интеграция в промышленность стала основой появления и больших языковых моделей, и комп. зрения куда раньше. 

Так это же КРИ (коллектор рассеянной информации) по Стругацким, идеи носились в воздухе

 

1) Упор на гражданское использование достижений кибернетики.

Тогда наверно нужно сначала продвигать Рамеева, скажем Сталин в 1950 г. узнал что Фон Нейман смог спрогнозировать погоду и решил что компьютеры в народном хозяйстве не помешают. Соответственно Рамееву как производственнику дают  завод для гражданской продукции, оставляя за СКБ-245 только оборонку. 

 

 

[Звёзды Светят]

Если бы вдруг в СССР или где-либо реализовали - военное применение и строго засекречено

 

Изобрёл на коленке народный умелец и поднял шум по партийной линии...

 

[VIR]

Позитронный? Откуда же столько позитронов взять? 

[sanitareugen]

ИМХО

0. Троичная логика и троичная арифметика к предложению об "усовершенствовании ИИ" не имеет. Оно вполне реализуется на двоичной, и состоит в замене умножений сложениями(вычитаниями). Строить троичную ЭВМ ради этого не стоит. А её наличие, как серийной (собственно, 46 машин на то время вполне себе серия) никак не поможет.

1. Троичность в машинной арифметике заиграла бы, если бы удалось создать трёхэлементный три-триггер. Тогда бы для представления числа N понадобилось бы 3 log_3 N =2.73 ln N элемента, тогда как для двоичного 2 log_2 N=2.89 ln N элементов, почти 6% экономии. Но такой элемент не создали. Ещё одно преимущество - болезненный вопрос об округлении, в системах с чётным основанием не разрешимый вполне, можно только ввести условные правила ("округлять до чётного") во избежание систематической ошибки округления, а нечётных симметрических простейшее округление, отбрасыванием лишних разрядов, максимально точен и не вводит смещаения. Преимущество "Сетуни" было в том, что она была построена на "неубиваемых" магнитных усилителях, что по сравнению с лампами, закономерно перегорающими, было весьма выгодно. Появление транзисторных ЭВМ это преимущество неглижировало.

2. Обсуждаемое предложение состоит в резком загрублении критерия. И, скорее всего, приведёт к потере работоспособности системы в целом. Для значений, близких к критериям огрубления, пойдут потери, если, условно, правило больше 0.5 округлять до единицы, меньше до нуля, то 0.51 станет единицей, хотя 0.02 это ошибка измерения, и правильное 0.49. С другой стороны, разница 0.6 и 1.2 потеряется.  Мне представляется, что "не взлетит". Потеря эффективности непропорциональна экономии электроэнергии.

3. Как сообщают, системы ИИ используют от тысяч до десятков тысяч графических процессоров NVidia,  при этом производительность каждого (на 32-битных плавающих) составляет до 312 TFLops. То есть порядка 10¹⁸ операций, то есть надо триллион БЭСМ-6 или 20 триллионов "Сетуней". Даже если учесть, что ChatGPT в коллективном доступе и одновременно обращается миллион человек - миллиард БЭСМ-6 или 20 миллиардов "Сетуней" несколько многовато.

4. Какой объём данных был использован для обучение Chat GPT 4 компания не разглашает. Но для Chat GPT 3 использовано 420 ГБайт. Думается, что на то время объём оцифрованных текстов по всему миру на порядок меньше. Что до ПСС Ленина - оно не оцифровано, а будь оцифровано, было бы около 300 МБайт.

Изменено Sunday в 14:26 пользователем sanitareugen

[Telserg]

Коллега @sanitareugen спасибо за столь подробную критику!

Постараюсь по пунктам ответить, как я понимаю.

0. Троичная логика. Предложение не полной замене двоичной логике на троичную, а в дополнении систем общего назначения матричными сопроцессорами на основе "умной памяти", т.е. искомый позитронный может хранить состояние матрицы и проводить над ней простые вычисления (понятно без умножения).

1. Техническая сторона вопроса, трёхэлементный три-триггер. Здесь мои исключительно теоретические суждения, в РИ в больших ЭВМ до 2/3 стоек занимала память, поэтому задача оптимизации заботы с памятью очень важна. Если мы а) вместо одного бита будем хранить в ячейке несколько, то это замечательно,  б) если сможем часть действий над памятью выполнять быстрее с меньшей загрузкой канала память-процессор, то это еще лучше.

2. Проблемы округления. Здесь решение, как мне видится, в создании виртуальной ячейки из нескольких тритов либо параллельная работа нескольких сопроцессоров.  Если мы можем параллельно работать с 256 тритами, то сможем объединить каждые 4 трита и у нас уже будет до 256 значений при уменьшении выборки с 256х256 до 64х64. (Надеюсь с цифрами не напутал, я тот еще математик).

3. Проблемы производительности и недостаток мощности. Здесь разумеется все грустно, но не до такой степени как Вы пугаете.  Скажем уже IBM XT со специальным сопроцессором могла использовать смм (скрытую марковскую модель) для адекватного распознавания голоса пользователя при условии 15-20 минутного обучения. IBM Watson из 2011 г. в Linpack выдавал 80 терафлопс, что было достаточно для ответа за секунды и доли секунд в "Своей игре"  .   Cray-1 из середины семидесятых выдавал 133 Мфлопса. Так что нужны сотни "креев", а не миллиарды "сетуней", ну и мы не гонимся за ответами в реал-тайм, можно вывести на экран анимацию и отвечать через паузу 2-3 минуты, или вообще вопросы сегодня - ответы завтра.

4. Объем данных для обучения. Если использовать современный автоматический подход, то да, чем больше данных, тем лучше. Но если мы введем предварительную обработку текстов вплоть до того, что человек будет задавать веса для каждого слова, а затем станем обучать следующую версию системы на информации от предыдущей (тоже в полуавтоматическом режиме с участием человека), то как раз 300 Мбайт это достаточно мало,  коллектив программистов сможет работать с каждым словом. Да и здесь над нами довлеет пункт 3, работать с сотнями гигабайт данных мне кажется нереалистично совсем.

Изменено Saturday в 09:04 пользователем Telserg

[Telserg]

Позитронный? Откуда же столько позитронов взять? 

Все вопросы к Азимову, он же кажется этот термин предложил.

Кстати, вот результат запроса у Chat GPT http://alfacasting.ru/faq/cto-takoe-pozitronnyi-mozg

Позитронный мозг — это революционная технология, которая имитирует работу мозга человека. Он состоит из множества нейронных сетей, способных анализировать и обрабатывать информацию, а также выполнять сложные когнитивные задачи. Позитронный мозг основывается на использовании позитронов, частиц анти-материи, которые обладают особыми свойствами и могут быть использованы для создания искусственного интеллекта.

[digger]

>Изобрёл на коленке народный умелец и поднял шум по партийной линии...

  ИЛМ потоптались.В 20-м веке никаких одиночек нет, всё инновационное и практически полезное - дорогое и тяжелое.Смысл в том, что все ноу-хау такого рода уже выгребли в 19-м веке.

 

[AltoClef]

Если использовать современный автоматический подход, то да, чем больше данных, тем лучше. Но если мы введем предварительную обработку текстов вплоть до того, что человек будет задавать веса для каждого слова, а затем станем обучать следующую версию системы на информации от предыдущей (тоже в полуавтоматическом режиме с участием человека), то как раз 300 Мбайт это достаточно мало,  коллектив программистов сможет работать с каждым словом. Да и здесь над нами довлеет пункт 3, работать с сотнями гигабайт данных мне кажется нереалистично совсем.

Если цель создать минимальную языковую модель, которая +- внятно пишет сентенции в стиле Ленина - то 300 Мб все-таки вполне достаточно. Понятно, что современные языковые модели требуют страшных мощностей, но для ленин-стайл генерации ресурсов вполне хватит, при достаточном финансировании