время жестоких чудес #1

 <impromptu> мои прогнозы обычно не сбываются, поэтому я делаю их редко, без зазрения совести, с некоторым удивлением. 

 

ИИ-прогноз 1: Ренессанс аналоговых схем

 

В какой-то момент индустрия обнаружит, что для наращивания мощностей, выгоднее использовать не дигитальную электронику, а аналоговую. 

Нейросеть - это чудовищная (но не произвольная) суперпозиция линейных регрессий и простых одномерных нелинейных функций (generalized linear regression). В простейшем случае, нелинейность - один излом на линии, в сложнейшем - гиперболический тангенс. Если верить описаниям реализации такого нейрона в коде - там сильный overhead: операции над floats, сложная объектно-ориентированная структура, встроенные циклы - всё это ради простых сложений-умножений. 

Вообще, выбрав дигитальные схемы, мы отказались от скорости и эффективности в пользу модулярности (малое количество универсальных компонент), абстракции (не задумываться, из чего сделан флипфлоп или регистр), и контроля за точностью (сколько выдашь бит, столько и знаков после запятой). Аналоговые цепи быстрее и работают в один ход: если вам надо решить диффур, его аналоговая схема просто прогонит сквозь себя ток. Для цифровой реализации нужно: выбрать метод приближения (рунге-кута, конечные элементы), написать код, который будет выполнять длинные ряды сложений и умножений, переписывать биты с места на место, м т.д. каждая такая операция - много-много транзисторов, которые гоняют электроны туда-сюда, чтоб потом выдать 0 или 1 - очень долго. Зато, если мы хотим поменять формулу, в аналоговой схеме придётся паять, и это её главный недостаток. 

Так вот, в нейронке не надо менять формулы. Может, придётся подкручивать параметры в процессе дообучения, т.е. менять сопротивления резисторов. Для этого давно есть программируемые чипы. Работать такое счастье будет много быстрее и менее энергозатратно. Ему приладят интерфейс к дигитальным компьютерам, и вуаля. 

В общем, юноше желающему потерять миллион не просто так, а с правильным vision (какэтопорусски?), посоветую вложиться в производителя аналоговых схем.