QuickNet - это роман глубоких архитектуре сети, это быстрее и эффективнее, чем нынешний “быстрый” глубокой паутине сетевых архитектур, таких как SqueezeNet. QuickNet использует меньшее количество параметров, по сравнению с предыдущими сетевыми архитектурами. Это стало возможным через реализацию нескольких ключевых изменений в справочники “Даркнет” сетевая архитектура модели:
использует глубина-мудрый сепары извилин.
б - с использованием параметрических выпрямляется линейных блоков.
Создатель QuickNet доказал, что дырявый устранены линейных единицах на заданном времени испытания равен, с вычислительной точки зрения, параметрический устранены линейных блоков. Он также отметил, что сепары извилин можно рассматривать как сжатый сети создания. В глубокой паутине сетевой архитектуры, QuickNet, был вдохновлен вышеупомянутые наблюдения, что привело к более быстрой и эффективной сетевой архитектуры модели. QuickNet имеет по крайней мере четыре основных преимущества:
1 - меньшая по размеру модель, которая работает более эффективно на системе с ограниченными ресурсами памяти.
2 - очень быстрая сеть, которая работает более эффективно на системы с ограниченным вычислительной мощности.
3 - QuickNet дала точностью до 95.7% на CIFAR-10 наборов данных. Это превосходит результаты всех предыдущих экспериментов, кроме одного, но QuickNet представляет собой группу ортогональных подходов, которые могут быть объединены, а не использовать по отдельности, для получения еще более высокого уровня точности.
4 - Ортогональности по сравнению с предыдущими моделями подходов сжатия сети, которая позволяет реализовать набирает скорость.
В QuickNet Глубокой Паутине Сетевой Архитектуры:
В настоящее время широко признано, что ресурсы памяти, а не вычислительных ресурсов, являются основными электроприемниками в глубокие нейронные сети экосистемы. Предыдущие исследования показали, что по коммерческим 40 нм процесса, энергоемкость доступа микросхем составляет 200 раз выше, чем 32-битные умножения. Соответственно, понятно, что для того, чтобы создать малый вес нейросеть, которая тоже энергосберегающие, архитектура должна опираться на минимизацию параметров. С другой стороны, наряду с минимизацией параметров, промежуточные карты активации слоя также понадобится большое количество ресурсов памяти, даже во время выведения. Предлагаемая архитектура QuickNet минимизировать количество параметров до 3,56 млн. (используя менее 14.24 Мб В 32 бита), и это может быть еще больше сократится до менее чем 1 мегабайт, при помощи глубокой компрессии. Было замечено, что при использовании сжатия с коэффициентом сжатия 15х является более разумным, чем указанная скорость 50х.
QuickNet, направленных на минимизацию параметров из-за того, что трубопровод глубокого сжатия уже представляет собой эффективный, но простой, трубопроводов для уменьшения размера модели 50х через совмещая с обрезкой квантования и кодирования Хаффмана без ущерба для точности. Эта комбинация является достаточным само по себе, чтобы значительно уменьшить размер модели. Напротив, работая приручить вычислительная сложность глубокая паутина сетей, без ущерба для точности, существенно отстают. Соответственно, QuickNet направлена на предоставление сети с низкой вычислительной сложностью, сохраняя при этом высокий уровень точности.
Результаты тестирования QuickNet:
Автор статьи заявил, что он экспериментировал QuickNet на CIFAR-10 наряду с увеличением данных с помощью Керрас рамках. Недоучки со значением 0.5 использовался наряду с пакетной нормализации. Кросс-энтропия потерь был использован как потеря функции. Была проверка/набор тестов со случайно выбранными 6000 изображений, которые не были представлены в сети. Точность измеряется при помощи проверки/тестирования.
QuickNet тестирования выставляется с точностью до 95.7%, что соответствует уровню погрешности 4.3%. Это выше, чем все существующие глубокие сетевых архитектур, за исключением частичная максимум компенсации. Однако, подход QuickNet является ортогональной, что частичная максимум пул и могут использоваться в комбинации, но автор статьи решил отказаться от него по следующим причинам:
1 - развивать вычислительные сговорчивости, как и все современные подходы по осуществлению частичной Макс объединение займет гораздо больше времени (до 15 раз в лазанью) по сравнению с обычными методами объединения без предъявления каких-либо эффектов оптимизации.
2 - способствовать сговорчивости памяти из-за того, что ресурсы памяти потребляют больше всего энергии, и это может еще больше возрасти при использовании фракционного максимум пул.
Одной из наиболее интересных особенностей QuickNet является значительно быстрое сближение архитектуры (в пределах 70 эпох, 80% точности). Это может открыть дверь в сетях’ обновление и местных кадров в ближайшем будущем.
Даже гораздо лучшие результаты могут быть получены при дальнейших исследованиях hyperparameter вместе с экспериментов с использованием различных адаптивных оптимизаторов, например, RMSProp или Адам.
использует глубина-мудрый сепары извилин.
б - с использованием параметрических выпрямляется линейных блоков.
Создатель QuickNet доказал, что дырявый устранены линейных единицах на заданном времени испытания равен, с вычислительной точки зрения, параметрический устранены линейных блоков. Он также отметил, что сепары извилин можно рассматривать как сжатый сети создания. В глубокой паутине сетевой архитектуры, QuickNet, был вдохновлен вышеупомянутые наблюдения, что привело к более быстрой и эффективной сетевой архитектуры модели. QuickNet имеет по крайней мере четыре основных преимущества:
1 - меньшая по размеру модель, которая работает более эффективно на системе с ограниченными ресурсами памяти.
2 - очень быстрая сеть, которая работает более эффективно на системы с ограниченным вычислительной мощности.
3 - QuickNet дала точностью до 95.7% на CIFAR-10 наборов данных. Это превосходит результаты всех предыдущих экспериментов, кроме одного, но QuickNet представляет собой группу ортогональных подходов, которые могут быть объединены, а не использовать по отдельности, для получения еще более высокого уровня точности.
4 - Ортогональности по сравнению с предыдущими моделями подходов сжатия сети, которая позволяет реализовать набирает скорость.
В QuickNet Глубокой Паутине Сетевой Архитектуры:
В настоящее время широко признано, что ресурсы памяти, а не вычислительных ресурсов, являются основными электроприемниками в глубокие нейронные сети экосистемы. Предыдущие исследования показали, что по коммерческим 40 нм процесса, энергоемкость доступа микросхем составляет 200 раз выше, чем 32-битные умножения. Соответственно, понятно, что для того, чтобы создать малый вес нейросеть, которая тоже энергосберегающие, архитектура должна опираться на минимизацию параметров. С другой стороны, наряду с минимизацией параметров, промежуточные карты активации слоя также понадобится большое количество ресурсов памяти, даже во время выведения. Предлагаемая архитектура QuickNet минимизировать количество параметров до 3,56 млн. (используя менее 14.24 Мб В 32 бита), и это может быть еще больше сократится до менее чем 1 мегабайт, при помощи глубокой компрессии. Было замечено, что при использовании сжатия с коэффициентом сжатия 15х является более разумным, чем указанная скорость 50х.
QuickNet, направленных на минимизацию параметров из-за того, что трубопровод глубокого сжатия уже представляет собой эффективный, но простой, трубопроводов для уменьшения размера модели 50х через совмещая с обрезкой квантования и кодирования Хаффмана без ущерба для точности. Эта комбинация является достаточным само по себе, чтобы значительно уменьшить размер модели. Напротив, работая приручить вычислительная сложность глубокая паутина сетей, без ущерба для точности, существенно отстают. Соответственно, QuickNet направлена на предоставление сети с низкой вычислительной сложностью, сохраняя при этом высокий уровень точности.
Результаты тестирования QuickNet:
Автор статьи заявил, что он экспериментировал QuickNet на CIFAR-10 наряду с увеличением данных с помощью Керрас рамках. Недоучки со значением 0.5 использовался наряду с пакетной нормализации. Кросс-энтропия потерь был использован как потеря функции. Была проверка/набор тестов со случайно выбранными 6000 изображений, которые не были представлены в сети. Точность измеряется при помощи проверки/тестирования.
QuickNet тестирования выставляется с точностью до 95.7%, что соответствует уровню погрешности 4.3%. Это выше, чем все существующие глубокие сетевых архитектур, за исключением частичная максимум компенсации. Однако, подход QuickNet является ортогональной, что частичная максимум пул и могут использоваться в комбинации, но автор статьи решил отказаться от него по следующим причинам:
1 - развивать вычислительные сговорчивости, как и все современные подходы по осуществлению частичной Макс объединение займет гораздо больше времени (до 15 раз в лазанью) по сравнению с обычными методами объединения без предъявления каких-либо эффектов оптимизации.
2 - способствовать сговорчивости памяти из-за того, что ресурсы памяти потребляют больше всего энергии, и это может еще больше возрасти при использовании фракционного максимум пул.
Одной из наиболее интересных особенностей QuickNet является значительно быстрое сближение архитектуры (в пределах 70 эпох, 80% точности). Это может открыть дверь в сетях’ обновление и местных кадров в ближайшем будущем.
Даже гораздо лучшие результаты могут быть получены при дальнейших исследованиях hyperparameter вместе с экспериментов с использованием различных адаптивных оптимизаторов, например, RMSProp или Адам.