Новая технология IBM позволила ускорить обучение ИИ в 4 раза
Вычислительная эффективность искусственного интеллекта — это, своего рода, палка о двух концах. С одной стороны он должен обучаться довольно быстро, но чем больше «ускоряется» нейросеть — тем больше она потребляет энергии. А значит может стать попросту невыгодной. Однако выход из ситуации может дать IBM, которая продемонстрировала новые методы обучения ИИ, которые позволят ему обучаться в несколько раз быстрее при том же уровне затрат ресурсов и энергии.
Для достижения таких результатов IBM пришлось отказаться от методов вычисления с использованием 32-и 16-битных техник, разработав 8-битную технику, а также новый чип для работы с ней.
«Грядущему поколению приложений для работы ИИ потребуется более быстрое время отклика, большие рабочие нагрузки и возможность работать с несколькими потоками данных. Чтобы раскрыть весь потенциал ИИ, мы перепроектируем все аппаратное обеспечение полностью. Масштабирование ИИ с помощью новых аппаратных решений является частью программы IBM Research по переходу от узкогопрофильного ИИ, часто используемого для решения конкретных, четко определенных задач, к многопрофильному ИИ, который охватывает все сферы.» — заявил вице-президент и директор лаборатории IBM Research Джеффри Вельзер.
Все разработки IBM были представлены в рамках NeurIPS 2018 в Монреале. Инженеры компании рассказали о двух разработках. Первая носит название «глубокое машинное обучение нейронных сетей с помощью 8-разрядных чисел с плавающей запятой.» В нем они описывают, как им удалось так снизить арифметическую точность для приложений с 32 бит до 16 бит и сохранить ее на 8-битной модели. Эксперты утверждают, что их техника ускоряет время обучения глубоких нейронных сетей в 2-4 раза по сравнению с 16-битными системами. Вторая разработка «8-битное умножение в памяти с проецируемой памятью фазового перехода». Здесь эксперты раскрывают метод, который компенсирует низкую точность аналоговых микросхем ИИ, позволяя им потреблять в 33 раза меньше энергии, чем сопоставимые цифровые ИИ-системы.
«Улучшенная точность, достигнутая нашей исследовательской группой, указывает на то, что вычисления в памяти могут обеспечить высокопроизводительное глубокое обучение в средах с низким энергопотреблением. Как и с нашими цифровыми ускорителями, наши аналоговые чипы предназначены для масштабирования и обучения ИИ и вывода через визуальные, речевые и текстовые наборы данных и распространяются на многопрофильный ИИ.»