Надежность нейроморфных вычислений с энергонезависимой памятью в течение жизненного цикла

Содержание

1. Введение

Нейроморфные вычисления с энергонезависимой памятью (NVM) представляют собой смену парадигмы в аппаратном обеспечении машинного обучения, предлагая значительные улучшения производительности и энергоэффективности для вычислений на основе спайков. Однако высокие напряжения, необходимые для работы NVM, таких как память с изменением фазового состояния (PCM), ускоряют старение КМОП-нейронных схем, угрожая долгосрочной надежности нейроморфного оборудования.

Данная работа решает критическую проблему надежности в течение жизненного цикла нейроморфных систем, фокусируясь на механизмах отказов, таких как негативная температурная нестабильность смещения (NBTI) и зависимый от времени пробой диэлектрика (TDDB). Мы демонстрируем, как решения на системном уровне, в частности методы периодической релаксации, могут создавать важные компромиссы между надежностью и производительностью в современных приложениях машинного обучения.

2. Моделирование надежности кроссбар-архитектур

2.1 Проблемы NBTI в нейроморфных вычислениях

Негативная температурная нестабильность смещения (NBTI) возникает, когда положительные заряды захватываются на границе оксид-полупроводник под затвором КМОП-устройств в нейронных схемах. Это явление проявляется как уменьшение тока стока и крутизны, а также увеличение тока утечки и порогового напряжения.

Срок службы КМОП-устройства из-за NBTI количественно оценивается с использованием среднего времени наработки на отказ (MTTF):

$MTTF_{NBTI} = A \cdot V^{\gamma} \cdot e^{\frac{E_a}{KT}}$

Где $A$ и $\gamma$ — константы, связанные с материалом, $E_a$ — энергия активации, $K$ — постоянная Больцмана, $T$ — температура, а $V$ — перенапряжение затвора.

2.2 Механизмы отказов TDDB

Зависимый от времени пробой диэлектрика (TDDB) представляет собой еще одну критическую проблему надежности, при которой затворный оксид со временем разрушается из-за электрической нагрузки. В нейроморфных кроссбарах TDDB ускоряется высокими электрическими полями, необходимыми для работы NVM.

Модель срока службы TDDB следует:

$MTTF_{TDDB} = \tau_0 \cdot e^{\frac{G}{E_{ox}}}$

Где $\tau_0$ — константа материала, $G$ — параметр ускорения поля, а $E_{ox}$ — электрическое поле в оксиде.

2.3 Комбинированная модель надежности

Общая надежность нейроморфного оборудования учитывает оба механизма отказов NBTI и TDDB. Совокупная интенсивность отказов следует:

$\lambda_{total} = \lambda_{NBTI} + \lambda_{TDDB} = \frac{1}{MTTF_{NBTI}} + \frac{1}{MTTF_{TDDB}}$

3. Методология эксперимента

Наша экспериментальная структура оценивает надежность в течение жизненного цикла с использованием модифицированной нейроморфной архитектуры DYNAP-SE с синаптическими кроссбарами на основе PCM. Мы реализовали несколько эталонных тестов машинного обучения, включая классификацию цифр MNIST и распознавание произнесенных цифр, чтобы оценить влияние на надежность при реалистичных рабочих нагрузках.

Экспериментальная установка включает:

• Технологический узел КМОП 28 нм для нейронных схем
• Синаптические устройства PCM с напряжением чтения 1.8 В
• Мониторинг температуры от 25°C до 85°C
• Циклы нагрузка-восстановление с переменными рабочими циклами

4. Результаты и анализ

4.1 Компромисс между надежностью и производительностью

Наши результаты демонстрируют фундаментальный компромисс между надежностью системы и вычислительной производительностью. Непрерывная работа при высоких напряжениях обеспечивает максимальную пропускную способность, но серьезно снижает надежность в течение жизненного цикла. Введение периодов периодической релаксации значительно улучшает MTTF, сохраняя при этом приемлемые уровни производительности.

4.2 Влияние периодической релаксации

Реализация подхода вычислений "стоп-старт" с 30% рабочим циклом продемонстрировала улучшение MTTF в 3.2 раза по сравнению с непрерывной работой, при этом снижение точности классификации для задач MNIST составило всего 15%. Этот подход эффективно балансирует проблемы надежности с вычислительными требованиями.

5. Техническая реализация

5.1 Математические формулировки

Алгоритм планирования с учетом надежности оптимизирует компромисс между вычислительной пропускной способностью и старением схемы. Задача оптимизации может быть сформулирована как:

$\max_{D} \quad \alpha \cdot Throughput(D) + \beta \cdot MTTF(D)$

$subject \ to: \quad D \in [0,1]$

Где $D$ — рабочий цикл, $\alpha$ и $\beta$ — весовые коэффициенты для целей производительности и надежности.

5.2 Реализация кода

Ниже представлена упрощенная псевдокодовая реализация планировщика с учетом надежности:

class ReliabilityAwareScheduler:
    def __init__(self, max_voltage=1.8, min_voltage=1.2):
        self.max_v = max_voltage
        self.min_v = min_voltage
        self.stress_time = 0
        
    def schedule_operation(self, computation_task, reliability_target):
        """Планирование вычислений с ограничениями надежности"""
        
        # Расчет оптимального рабочего цикла на основе целевого показателя надежности
        duty_cycle = self.calculate_optimal_duty_cycle(reliability_target)
        
        # Выполнение вычислений по принципу "стоп-старт"
        while computation_task.has_work():
            # Фаза вычислений при высоком напряжении
            self.apply_voltage(self.max_v)
            computation_time = duty_cycle * self.time_quantum
            self.execute_computation(computation_task, computation_time)
            self.stress_time += computation_time
            
            # Фаза восстановления при низком напряжении
            self.apply_voltage(self.min_v)
            recovery_time = (1 - duty_cycle) * self.time_quantum
            time.sleep(recovery_time)
            
    def calculate_optimal_duty_cycle(self, reliability_target):
        """Расчет рабочего цикла для соответствия требованиям надежности"""
        # Реализация алгоритма оптимизации
        # с учетом моделей NBTI и TDDB
        return optimized_duty_cycle

6. Будущие приложения и направления

Подход к нейроморфным вычислениям с учетом надежности имеет значительные последствия для систем искусственного интеллекта на периферии, автономных транспортных средств и устройств Интернета вещей, где долгосрочная операционная надежность является критической. Будущие направления исследований включают:

• Адаптивное управление надежностью: Динамическая корректировка рабочих параметров на основе мониторинга старения в реальном времени
• Многоуровневое моделирование: Интеграция моделей надежности на уровне устройств с оптимизацией производительности на системном уровне
• Перспективные технологии NVM: Исследование характеристик надежности в новых технологиях памяти, таких как ReRAM и MRAM
• Машинное обучение для надежности: Использование методов ИИ для прогнозирования и смягчения эффектов старения

По мере того как нейроморфные вычисления движутся к более широкому внедрению в критически важных для безопасности приложениях, методологии проектирования с учетом надежности станут все более важными. Интеграция этих методов с новыми вычислительными парадигмами, такими как вычисления в памяти и приближенные вычисления, открывает захватывающие возможности для будущих исследований.

7. Ссылки

1. M. Davies et al., "Loihi: A Neuromorphic Manycore Processor with On-Chip Learning," IEEE Micro, 2018
2. P. A. Merolla et al., "A million spiking-neuron integrated circuit with a scalable communication network and interface," Science, 2014
3. S. K. Esser et al., "Convolutional networks for fast, energy-efficient neuromorphic computing," PNAS, 2016
4. G. W. Burr et al., "Neuromorphic computing using non-volatile memory," Advances in Physics: X, 2017
5. J. Zhu et al., "Reliability Evaluation and Modeling of Neuromorphic Computing Systems," IEEE Transactions on Computers, 2020
6. International Technology Roadmap for Semiconductors (ITRS), "Emerging Research Devices," 2015
7. Y. LeCun, Y. Bengio, and G. Hinton, "Deep learning," Nature, 2015