Анализ сложности сверточной нейронной сети
Резюме: В процессе расчесывания классической модели CNN я понимаю, что многие инновации в эволюции классической модели тесно связаны с вычислительной сложностью модели улучшения, поэтому мы сделаем нашу сложность анализа сверточных нейровых сетей., Сложность времени определяет время обучения / прогнозирования модели. Если сложно .
Интернет инструмент модель Нейронные сети Дело
В процессе расчесывания классической модели CNN я понимаю, что многие инновации в эволюции классической модели тесно связаны с вычислительной сложностью модели улучшения, поэтому мы дадим нам свертку сегодня.Нейронные сетиАнализ сложности прост, чтобы обобщить.
1.2 Время сложности консолидации нейронной сети
Пример: мысленно реализовать двумерный том с помощью Numpy Manual
Предположим, что шаг = 1, прокладки = 0, IMG и ядро NP.NDARRAY.
Пространственная сложность, количество параметров модели, отражает объем самой модели.
Можно видеть, что пространственная сложность сети связана только с размером k сверточного ядра, количество каналов c, а также глубиной d сети сети. И независимо от размера входных данных.
Когда нам нужно обрезать модель, поскольку размер свертки обычно мала, глубина сети тесно связана с способностью модели, и она не подходит для вырезания, поэтому модель урожая обычно первое место количество каналов.
3. Влияние сложности на модели
Сложность времени определяет время обучения / прогнозирования модели. Если сложность высока, модель обучения и прогнозировании моделей занимают много времени, что не может быстро проверить идею и улучшать модели, и не может быть быстрого прогноза.
Пространственная сложность определяет количество параметров модели. Из-за пределов проклятия размера, тем больше параметров модели, тем больше данных, необходимые для модели обучения, и набор данных в реальной жизни, обычно будет слишком большим, что приведет к тренировке моделей. Отказ
4. Как оптимизировать сложность в модели создания серии
Как оптимизировать сложность во время эволюции модели на пять небольших примеров.
4,1 1 × 1 объем посадочного размера в INCECTIONV1
MENCECTIONV1 опирается на идею сети в сети, построил четыре параллельных различных размеров / модулях бассейна (слева) в модуле в наличии, который эффективно усиливает ширину сети. Но это также вызвало время и пространственную сложность сети. Компания состоит в том, чтобы добавить 1 х 1 сверток (правый красный модуль на верхнем графике) опустите количество входных каналов в более низкое значение, а затем выполнить реальную свертывание.
Возьмите модуль (3b) в бумаге INCECETIONV1 в качестве примера, размер ввода составляет 28 × 28 × 256, 1 × 1 объемное ядро 128, 3 × 3 громкости ядра 196, 5 × 5 томов Nuglei 96, свертка ядра использует то же самое Прокладка, чтобы убедиться, что вывод не меняет размер.
Видно, что отличается от реального слоя свертки, пространственная сложность полного соединительного слоя тесно связана с размером входных данных. Следовательно, чем больше размер модели, тем больше объем модели, который, очевидно, недопустимо. Например, модель ранней серии VGG, 90% его параметров потребляются на полном соединенном слое.
Глобальный меньший разрыв на основе бассейна, используемый в INCEPTIONV1, улучшает этот вопрос. Поскольку каждый объем ядерного производства непосредственно изыскан в скалярную точку после глобального меньшего пула, сложность полного соединительного слоя больше не связана с входным размером изображения, объем эксплуатации и количество параметров можно уменьшить. Отказ Сравнительный анализ выглядит следующим образом:
4.3 MANECEPTIONV2 использует два моллюсков 3 × 3 каскадных ветвей объема 5 × 5
Согласно двумерным объемам входной и выходе в формуле взаимоотношений, для того же размера ввода, вывод одного объема 5 × 5 точно такой же, как два уровня каскада объема 3 × 3, то есть дикий одинаковый Отказ
Он также известен как формула анализа сложности, упомянутая выше: эта замена может быть очень эффективной для сокращения времени и пространственной сложности. Мы можем использовать эту сложность жесткого и горького, чтобы улучшить глубину и ширину модели, что делает наши модели с большим количеством мощности, освежающим, с постоянной сложностью.
Аналогично на модуль (3B) в INCEPTIONV1 в качестве примера сложность ветви тома 5 × 5 5 × 5 до и после следующим образом:
4.4 INCEPTIONV3 использует совокупность N × 1 и 1 × n Каскадирование N × N Convection
Объединенная факторизация предлагается в MECECTIONV3, что еще больше упрощена под предпосылкой, что чувство поля является постоянным.
Улучшение сложности можно получить, а детали не будут описаны снова.
4.5 Xceceion с использованием глубиной разделительной свертки
Ранее мы обсудили все стандартные свертывания, и каждое разумное ядро объединило все каналы.
Модель Xception бросает вызов этому мышлению, что позволяет каждому свертку отвечать только за ввести определенный канал, что является так называемой глубиной разделительной сверткой.
С точки зрения входного канала каждый канал ввода в стандартной свертке снова все снова всевозможный, и каждый входной канал в Xception будет сканироваться только путем соответствующего объема, снижая избыточность модели.
Сравнение стандартной свертки и отдельного сравнения свертки: можно увидеть присуще добавить трансформацию езды.
Через случай вышеуказанного производного и классической модели мы можем четко видеть, что многие инновации расширяются вокруг модели сложности модели, и его основная логика умножается. Оптимизация модели биржи меньше вычисления времени и меньше параметров, с одной стороны, содействие мы можем построить более легкую и более быструю модель (например, MobileNet), с одной стороны, подсказывает нам построить более глубокую и более широкую сеть (например, Xcection ), Улучшить емкость модели, победить все виды больших монстров, Европа ~