О разработках нейрокомпьютеров в России
5 ноября 2014 в 15:02

О разработках нейрокомпьютеров в России

В докладе второй половины 2000-х представлен краткий обзор аппаратных реализаций нейрокомпьютеров в России и перспективы их развития.

О разработках нейрокомпьютеров в России

Необходимость изменения последовательной Фон-неймановской архитектуры классических вычислений диктовалось все возрастающими требованиями к вычислительным ресурсам со стороны новых сложных задач, которые возникали в связи с развитием перспективных технологий.

Нейросетевые технологии являются одним из наиболее интенсивно развиваемых направлений определения и реализации параллельных вычислений. Эти технологии позволяют не только более эффективно решать старые сложные задачи, но и позволяют реализовывать плохо формализуемые или неформализованные задачи, решение которых ранее не представлялось возможным.

Соответственно, аппаратная реализация нейросетевых алгоритмов изменяет логическую основу вычислительной математики и является естественным стремлением получить требуемую производительность.
Практическая реализация аппаратной поддержки нейросетевых вычислений зависит от требований конкретной задачи и возможна лишь в том случае, когда все другие подходы не могут быть использованы. В основном, аппаратная реализация требуется тогда, когда параллельные нейросетевые алгоритмы не могут быть достаточно эффективно реализованы с помощью традиционных вычислительных средств, включая кластерные конфигурации.

С самого начала использования нейросетевых подходов к решению отдельных задач (более 40 лет назад) проблемам их аппаратной реализации уделялось большое внимание, т.к. значительные вычислительные мощности, не говоря о кластерных конфигурациях, были не доступны.
Рост производительности и новые архитектурные решения реализации вычислений только увеличили внимание к данной проблеме, привлекая к ее решению все новые технические средства от использования аналоговых операционных усилителей до применения FPGA большой интеграции как основы для реализации фрагментов нейронных сетей. Соответственно, росла производительность аппаратной поддержки нейросетевых вычислений.

В работе [1] описаны основные аппаратные реализации нейрокомпьютеров с начала их существования (50-ые годы) до 2000 г.
За эту книгу автору присуждена Премия Правительства Российской Федерации за 2002 г.
Отмечено, что необходимость в аппаратной поддержке нейровычислений возникала каждый раз тогда, когда программная реализация нейрокомпьютеров на универсальных ЭВМ не удовлетворяла требованиям заказчика по времени вычислений или весам и габаритам.

Первыми аппаратными реализациями нейрокомпьютеров в России, выполненными еще в конце 60-ых годов прошлого столетия были реализации в виде аналоговых блоков с сетью настраиваемых резисторов и блоком настройки (вычисления значений коэффициентов), реализуемом на универсальной цифровой ЭВМ.
Первая такая реализация, выполненная в виде двух аналоговых вычислительных машин МН-4 и специализированного блока, была сделана в 1968 г. и логически представляла собой трехслойную нейронную сеть.
Реализация 1970 г. ориентированная на распознавание объектов по характеристикам отраженного радиолокационного сигнала представляла собой более сложную нейронную сеть.
Вариант простой трехслойной нейронной сети, ориентированной на два класса образов и пять признаков, предназначался для решения задач медицинской диагностики (1972 г.). Более сложный вариант 1974-ого г. исполнения, был реализован в виде настольного блока с выносным пультом индикации.

В те же годы был реализован макетный образец континуального (с континуумом признаков) аналогово-цифрового нейрокомпьютера, ориентированного на распознавание по форме реограмм.
При решении задачи распознавания периодических сигналов по форме, аналогово-цифровое преобразование приводило к значительной размерности пространства признаков (число дискрет на периоде существования сигнала), и следовательно к резкому усложнению цифровой части нейрокомпьютера.

Еще в 70-ые годы профессором А.И. Галушкиным было предложено, используя предельный переход: реализовать нейроны первого слоя аналого-цифрового нейрокомпьютера. Эта схема была использована для реализации в середине 70-ых годов аналогового нейрокомпьютера для распознавания патологических реограмм с получением весовых функций на универсальной ЭВМ обработкой архива реограмм. Далее отмечено, что этот принцип был успешно использован через 20 лет на базе современной технологии микроэлектроники при реализации более современного нейрокомпьютера, предназначенного для распознавания сигналов по форме.

Активное развитие микропроцессоров в период с 1975 по 1987 гг. приостановило линию аппаратной реализации нейрокомпьютеров, т.к. наиболее эффективной в эти годы была программная реализация нейрокомпьютеров на микропроцессорах.

Однако в середине 80-ых годов развитие технологии микроэлектроники и высоких технологий, ставящих все более и более сложные задачи, привело к очередному всплеску развития нейрокомпьютеров уже с аппаратной реализацией групп нейронов в кристалле. Переходными здесь были микропроцессорные реализации нейрокомпьютеров в виде специализированных вычислительных систем с архитектурой, адаптированной к нейросетевым операциям (вычислениям). Типичным примером такой разработки был отечественный нейрокомпьютер “Геркулес”.

В начале 90-ых годов экономическая ситуация в России привела к необходимости практически полного отказа от технологии заказных СБИС при реализации нейрочипов. Разработчики пытались сохранить научно-технический потенциал в этой области, используя технологию полузаказных СБИС, базовых матричных кристаллов (БМК) и программируемых логических интегральных схем (ПЛИС).

Были сделаны попытки реализовать нейрочипы и нейроплаты на отечественных БМК “Исполин 60Т” и “Такт 100Т”. В середине 90-ых годов в Научном центре нейрокомпьютеров для реализации нейрочипов, нейроплат и нейроблоков была окончательно выбрана линия использования ПЛИС (FPGA фирмы Xilinx). Были реализованы нейрочипы, нейроплаты и нейроблок на FPGA объемом 400 тысяч вентилей на кристалле. В настоящее время ведутся работы использованию для этих целей FPGA Virtex 2 Pro объемом 6-10 млн. вентилей на кристалле.

Параллельно с этим была реализована разработка континуального нейрокомпьютера для распознавания сигналов по форме в виде трехслойной нейронной сети. Первый слой содержал восемь континуальных аналого-цифровых нейронов с весовой функцией, загружаемой в аналоговый умножитель из ПЗУ через ЦАП.

В настоящее время уделяется значительное внимание анализу состояния и определению перспектив разработок нейрочипов во всем мире. К наиболее важным направлениям этих работ можно отнести:

  • цифровые нейрочипы;
  • аналоговые и аналого-цифровые нейрочипы;
  • клеточные нейрочипы;
  • нейрочипы с частотно-импульсной модуляцией сигналов;
  • специализированные нейрочипы;
  • оптические и оптоэлектронные нейрочипы.

При этом важной задачей является поиск для реализации практических задач, требующих для своего решения аппаратной поддержки в виде нейроплат и нейроблоков на базе нейрочипов. Это наиболее сложные задачи, инициируемые развитием высоких технологий и которые невозможно решить вычислительными системами других типов при наличии реальных ограничений на время решения и объемы и веса вычислительной системы.

Литература
1. Галушкин А.И. Нейрокомпьютеры. Серия “Нейрокомпьютеры и их применение” книга 3, Изд-во “Радиотехника”, М., 2002 г.
Об авторе: НИИ автоматической аппаратуры Научный центр нейроком, #
Материалы международной конференции SORUCOM 2006 (3–7 июля 2006 года)

2. Лекции Нейрокомпьютеры -assets-files-lection14-14-33-neirokomputer.pdf

2179
Комментарии (33)
  • 5 ноября 2014 в 20:02 • #
    Олег Коробейников

    Игорь, не совсем по теме, но.. Пишу подробно не для Вас.
    В конце 70-х, для экономии, дорогого тогда, машинного времени, были УПД (возможно прообраз PC) - устройства подготовки данных. Клавиатура, вместо дисплея - "пишмашка", перфоратор и считыватель.
    Меня там поразило ОЗУ. Спираль из нескольких витков стальной проволоки. Диаметр спирали 100-140 мм., проволоки ~ 1,5-2 мм. На одном конце электромагнитный датчик записи/чтения, на втором - только чтения. И, работало!!!
    С тех пор я мечтал увидеть нечто подобное, но оптическое. Но в природе нет скорости выше скорости света. Т.е. получить и обработать не возможно. И вот недавно проскочила информация, что экспериментально, удалось снизить скорость света - http://geektimes.ru/post/241008/. Неужели моя многолетняя мечта становиться реальностью?

  • 6 ноября 2014 в 05:18 • #
    Игорь Олегович Цесельский

    Это в общем-то хрестоматийный факт - скорость электромагнитных волн в разных средах разная. Это было известно и описано Максвеллом, затем - Фейнманом.

    Ну, а по ссылке пост убран, это утка)

  • 6 ноября 2014 в 10:14 • #
    Олег Коробейников

    Если не верить в чудеса, то зачем жить?

  • 6 ноября 2014 в 10:23 • #
    Олег Коробейников

    А если свет все - таки корпускулы?

  • 6 ноября 2014 в 19:50 • #
    Игорь Олегович Цесельский

    А тут вопрос глубже - есть эфир или нет.

    Вопрос веры пока - либо в ТО Лоренца-Энштейна (именно в таком порядке) или эфир.

    Нито , ни другое не опровергнуто.

    Модель мира, что сказать.

    С атомом тоже так было.

  • 6 ноября 2014 в 20:43 • #
    Олег Коробейников

    Игорь, просто я не пользуюсь смайликами. Читая, вспомнил впечатлившее меня ОЗУ и спонтанную идею.
    Курпускулярная модель, в данном случае, подходит больше. По моему мнению, заморозить курпускул легче, чем волну.

  • 11 ноября 2014 в 14:04 • #
    Александр Гургенидзе

    Олег!

    Свет это поток солитонов (уединенных волн - "вихрей"), которые ведут себя при распространении как волна, а при взаимодействии как корпускула. Другого объяснения дуализма поведения придумать сложно. Но для осознания этого придется вернуться к идее эфира, вспомнить, что диэлектрическая и магнитная проницаемость это интегральные характеристики среды, которая может быть неоднородна

    Вакуум пронизан космической пылью, заряженными частицами, гравитационными полями и т.п. В сильных гравитационных полях характеристики вакуума могут оказаться с нелинейными зависимостями от амплитуды и частоты, что приводит к иным дисперсионным соотношениям.

  • 12 ноября 2014 в 02:57 • #
    Олег Коробейников

    Игорь, Александр! Бросаю все. Только ОПТИКА!

  • 5 ноября 2014 в 20:44 • #
    Светлана Фёдоровна Татарова

    Есть в этом что-то мегафантастическое. Знаете, как-то под зиму одного московского архитектора ( к тому же и священника РПЦ) Леонида Калинина спросили о том, какая всё же разница между григорианским и юлианским стилем. Вот он очень просто пояснил, что григорианский календарь точнее астрономически, а юлианский - духовно.
    Вот эти нейрокомпьютеры явно будут точнее на нейронном уровне. Научный космос столь величествен, но человек всё же никак не хочет принять его необъятность. Здорово!!!

  • 5 ноября 2014 в 22:02 • #
    Andrey Chigisheff

    :)
    Всполнил лекцию о нейроситемах. По-моему это был первый уровень нейросети. Выслушав половину лекции я породил термин "тещина логика" :). Там первое (но не обязательно верное) найденное решение блокировало всю сеть и не давало продолжать поиск решения.

  • 6 ноября 2014 в 16:46 • #
    Константин Чарковский

    И что это за доклад об отечественных нейрокомпьютерах, если в нем нет
    ни слова о вполне успешной разработке NeuroMatrix НТЦ "Модуль" ?!?
    http://module.ru/upload/files/nm6403man10-r.pdf

  • 6 ноября 2014 в 19:47 • #
    Игорь Олегович Цесельский

    Резонно. Ну, что есть.
    Модуль вещь известная.
    Есть ещё и Горизонт, но нет материалов.

  • 11 ноября 2014 в 14:13 • #
    Александр Гургенидзе

    Олег!

    Была еще разработка ИКИ с параллельной архитектурой для обработки телеметрии с "Фобосов". Бала голограмма в твердой памяти, булевы свертки видео изображений и т.п.

    Думаю теперь важнее заниматься квантовыми вычислениями, а не ностальгировать по прошлому.

  • SMM – специалист

    Цена: 15 000 руб.

  • 12 ноября 2014 в 03:02 • #
    Олег Коробейников

    Нельзя объять необъятное.
    Это я о себе.

  • 6 ноября 2014 в 20:12 • #
    Игорь Олегович Цесельский

    Более того, они на базе этих DSP процессовров и своих цифровых процессоров выпускают сигнальные микрокомпьютеры МВ с прошивкой на Debian

    http://www.module.ru/upload/images/1412777032page_110_edit.pdf

  • 6 ноября 2014 в 17:55 • #
    Александр Фёдоров

    "При этом важной задачей является поиск для реализации практических задач...". Мда, ну точно, для духовности делают.. ) Хорошо бы задачки-то сформулировать сначала.

  • 6 ноября 2014 в 19:52 • #
    Игорь Олегович Цесельский

    Задачи?
    Да сколько угодно.

    От моделирования до баз знаний.

    Конкретно - навскидку - распознавания образов, решение задач классификации, оптимизации и прогнозирования.

    То есть - банки-финансы-инвескомпании, страховщики, оборонка, пректирвание - строительство, авиастроение, нефтехимия-добыча сырья, ядерная отрасль...

    Банки и страховые компании
    автоматическое считывание чеков и финансовых документов;
    проверка достоверности подписей;
    оценка риска для займов;
    прогнозирование изменений экономических показателей.
    административное обслуживание
    автоматическое считывание документов;
    автоматическое распознавание сигнатур и кодов.

    Нефтяная и химическая промышленность

    анализ геологической информации
    идентификация неисправностей оборудования;
    разведка залежей минералов по данным аэрофотосъемок;
    анализ составов примесей;
    управление процессами.

    Военная промышленность и аэронавтика

    обработка звуковых сигналов (разделение, идентификация, локализация);
    обработка радарных сигналов (распознавание целей, идентификация и локализация источников);
    обработка инфракрасных сигналов (локализация);
    обобщение информации;
    автоматическое пилотирование.

    Промышленное производство

    управление манипуляторами;
    управление качеством;
    управление процессами;
    обнаружение неисправностей;
    адаптивная робототехника;
    управление голосом.

    Безопасность

    распознавание лиц, голосов, отпечатков пальцев.
    кодирование и декодирование информации

    Биомедицинская промышленность

    анализ рентгенограмм;
    обнаружение отклонений в ЭКГ.

    Телеком

    адаптивное управление сетью связи;
    сжатие и восстановление изображений и видео.

  • 7 ноября 2014 в 01:19 • #
    Александр Фёдоров

    Разве это задачи? "Банки-финансы-инвескомпании, страховщики, оборонка, пректирвание - строительство, авиастроение, нефтехимия-добыча сырья, ядерная отрасль... ". Это, простите, всё не для человека..) Т.е., если заняться разработкой компьютера, то во главу угла поставлено должно быть сделать банки-финансы-инвескомпании крутышками? Может, потом, конечно. Но для вдохновения и целеполагания нужно что-то иное.. Может потому с разработками что-то не очень и получается..)

  • 8 ноября 2014 в 23:32 • #
    Игорь Олегович Цесельский

    А для кого всё это, Александр?)

  • 9 ноября 2014 в 00:30 • #
    Александр Фёдоров

    Игорь! Конечно понимаю, что Вы человек больше технического склада ума, и философиями не занимаетесь. И, возможно даже исповедуете принцип: "После меня хоть потоп".. ) Но Вы же и упомянули некоторые направления стоящих задач - "решение задач классификации, оптимизации и прогнозирования", к которым без этих самых философий и не подойти даже. Простой первоначальный вопрос, скажем, по прогнозированию событий, упирается в мировоззренческую картину мира субъекта, и ответом на вопрос, - а возможно ли оно вообще? И дальше, если, - да, то на какой основе? Быть фаталистом, или отрицать всё, как Базаров, который, впрочем, смерть не стал отрицать для себя.) С оптимизацией и классификацией проблем тоже, более чем достаточно как в философском, так и модельном плане. В общем, на Ваш вопрос,- "А для кого всё это, Александр?)", можно дать лаконичный ответ, - "А для развития, кому понадобиться потом".. )

  • 9 ноября 2014 в 00:42 • #
    Игорь Олегович Цесельский

    Есть задачи академического плана, есть прикладного.
    И философия науки тут вовсе не причем.

    А вопросы гносеологии мне гораздо более близки, чем вам могло бы показаться. Только я мух от котлет приучен отделять.

    Мой комментарий казался

    Это, простите, всё не для человека..)

    Это как раз именно для человека. И человечества в целом.

  • 9 ноября 2014 в 01:02 • #
    Александр Фёдоров

    Лично в моём представлении задача (и самая главная) академической науки как раз и должна быть формирование мировоззренческой картины мира учёных. Вы вот лично как считаете, возможно точное прогнозирование на научной основе, и с чем такое положение дел (возможность) может быть связана? Или вообще не стоит браться за это дело, и городить «нейронно-сетевых» компьютеров, результаты работы которых сами не подлежат прогнозированию..))

  • 9 ноября 2014 в 01:58 • #
    Игорь Олегович Цесельский

    Соглашусь.
    Но сможет ли?

    Когда я изучал философию (марксистско-ленинскую) для сдачи экзамена в аспирантуру, уклон на кафедре философии Академии связи был как раз не политический, а именно философии науки, причем далеко за рамками именно МЛФ.

    Ибо основоположники не очень много на эту тему написали, да и сами были не очень специалисты в этой сфере.

    Это к чему - слишком уж много направлений в философии науки.

    От клерикальных воззрений до солипсизма.

    Какую телоию возьмем за основу? Рассела, Бэкона, Конта, Гегеля, Маха, ... кто ещё Попер.
    Из наших - помню Розена.

    Но их гораздо, гораздо больше, и все смотрят в разные стороны.
    Кризис налицо.

  • 8 ноября 2014 в 21:35 • #
    Сергей Тертичников

    Отстал видимо сильно от новых достижений.
    Несколько лет назад была попытка применить данный подход к ответственным
    системам управления высокоэнергетическим оборудованием, где недопустимы ошибки.
    На то время были недостатки:
    1. После обучения - трудности тиражирования. Каждое оборудование имеет свои особенности - докручивать по месту на работающем оборудовании - крайне сложно или принципиально невозможно, особенно для режимов близким к критическим и трудоемко на то время.
    2. По этой же причине от адаптации и самонастройки отказались.

    Появились ли такие или похожие применения?

    PS
    ссылка в статье на лекции некорректная.

  • 8 ноября 2014 в 23:37 • #
    Игорь Олегович Цесельский

    Там pdf файл загружен.

    Открывается нормально.

  • 8 ноября 2014 в 23:45 • #
    Сергей Тертичников

    Спасибо.

  • 29 декабря 2014 в 11:34 • #
    Vladimir Perervenko

    Все эти задачи сегодня наиболее успешно решают "глубокие и сверточные сети. Так называемые нейросети третьего поколения. Очень перспективное направление.

  • 6 ноября 2014 в 20:02 • #
    Игорь Олегович Цесельский

    В России уже успешно функционирует один из первых мощных нейрокомпьютеров для финансового применения - CNAPS PC/128 на базе 4-х нейроБИС фирмы Alaptive Solutions.

    По данным фирмы "Торацентр" в число организаций, использующих нейронные сети для решения своих задач, уже вошли: Центробанк, МЧС, Налоговая Инспекция, более 30 банков и более 60 финансовых компаний.

  • 6 ноября 2014 в 20:21 • #
    Игорь Олегович Цесельский

    Для интересующихся - ссылки

    Сообщество по нейросетям

    http://wwns.org/

  • 6 ноября 2014 в 20:54 • #
    Игорь Олегович Цесельский

    Вот ещё интересный блог разработчика нейрокомпьютера Эмбрион

    http://www.nog.ru/zigankov.embrion10/zigankov.embrion10/index.html

    http://embrion100.blogspot.ru/2014/06/blog-post.html

  • 7 ноября 2014 в 20:19 • #
    Алексей Загуляев

    …Середина 80-х,… как то уж так получилось, работая по … микроканальным пластинам, был удивлен тем, что в ИКИ (академическая часть) вовсю использовалась машина БЭСМ-6, хотя в соседней части института, Института имени Келдыша, в тихушку» использовали вычислитель на базе «Крей». Прошло, каких-то 30 лет… уже спокойно рассуждаем о нейрокомпьютерах, нейросетях, квантовых вычислениях…
    Если капнуть чуть глубже, то можно осознать, что данные системы - уподобляется работе живой, нервной, сети и как следствие - присутствие в них «зачатка» первичного интеллекта. Термин Нейрокомпьютинг …уже обыденность, в понимании многих специалистов современности, это всего лишь, …компьютеры и сети «шестого» поколения.
    Экономически Россия сейчас подобна медведю просыпающимся от зимней спячки, мы …слабы , голодны… и смертельно раздражительны. Поднимайся … «Миха»… поднимайся!!!!!

  • 12 ноября 2014 в 13:29 • #
    Alex Litv

    Пол века известно уже ка делать и пол века так ничего и не имеем.

  • 19 ноября 2014 в 15:58 • #
    Александр Либертайм

    Друзья, коллеги!!!
    Пока "ломаются копья" , я хотел бы Вам сказать, что около1-1,5месяцев назад , наткнулся в Сети на проект некой компании и медицинской организации.Суть заключается в том, что устройства пользователей (точнее ресурс памяти) в ночное время будут задействованы на вычисление и поиск оптимального решения для борьбы с эпидемией страшной заразы.Не знаю, связано ли это с событиями, которые имеют место быть в настоящее время в Африке (вирус Эбола),однако, как не странно,многие откликнулись на этот призыв...Спустя некоторое время , опять же в Сети появился ТОР-2014 супер-компьютеров.Связано ли это, загадка....


Выберите из списка
2019
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
1970