Фото шумовой датчик: Акустический датчик | Фото шумовой датчик для освещения

Случайный шум характеризуется колебаниями интенсивности и цвета выше и ниже фактической интенсивности изображения. При любой длине выдержки всегда будет некоторый случайный шум, и на него больше всего влияет чувствительность ISO. Характер случайного шума меняется, даже если настройки экспозиции идентичны.

Фиксированный шаблонный шум включает в себя так называемые «горячие пиксели», которые определяются как таковые, когда интенсивность пикселя намного превышает интенсивность флуктуаций окружающего случайного шума. Шум с фиксированной структурой обычно появляется при очень длительных экспозициях и усиливается при более высоких температурах. Фиксированный шаблонный шум уникален тем, что он показывает почти такое же распределение горячих пикселей, если снимать в тех же условиях (температура, продолжительность выдержки, чувствительность ISO).

Полосовой шум сильно зависит от камеры и представляет собой шум, создаваемый камерой при считывании данных с цифрового датчика. Полосатый шум наиболее заметен при высоких значениях чувствительности ISO и в тенях, а также при чрезмерно ярком изображении. Полосатый шум также может увеличиваться для определенных балансов белого, в зависимости от модели камеры.

Хотя шум с фиксированной структурой кажется более неприятным, его обычно легче удалить, поскольку он повторяется. Внутренней электронике камеры просто нужно знать шаблон, и он может вычесть этот шум, чтобы показать истинное изображение.Фиксированный шаблонный шум представляет гораздо меньшую проблему, чем случайный шум в цифровых камерах последнего поколения, однако даже малейшее его количество может отвлекать больше, чем случайный шум.

Менее неприятный случайный шум обычно гораздо труднее удалить без ухудшения качества изображения. Компьютерам трудно отличить случайный шум от мелких узоров текстуры, таких как те, что встречаются в грязи или листве, поэтому, если вы удаляете случайный шум, вы часто в конечном итоге удаляете и эти текстуры.Такие программы, как Neat Image и Noise Ninja, могут очень хорошо уменьшать шум, сохраняя при этом реальную информацию об изображении. См. также мой раздел об усреднении изображений, чтобы узнать о другом методе уменьшения шума.

Перейдите к части 2: «Шум изображения: примеры и характеристики»

Что такое шум в фотографии?

Шум — это тема в фотографии, которая, кажется, вызывает путаницу. Однако очень важно понимать это, если вы хотите добиться максимального качества изображения.В этой статье мы подробно расскажем о двух типах шума, влияющих на ваши фотографии, дробовом шуме и цифровом шуме, а также о том, что вы можете сделать, чтобы свести их к минимуму. Мы также объясним связь между такими вещами, как ISO вашей камеры, и количеством шума на ваших фотографиях. Итак, что такое шум в фотографии и что можно сделать, чтобы его уменьшить?

За несколько лет до того, как я купил свою первую цифровую зеркальную камеру, у меня была наведи-и-снимай, которой я очень хотел научиться пользоваться, но ничего не смыслил в фотографии.Когда я прочитал в Интернете, что высокое значение ISO «добавляет больше шума» к фотографии, естественно, я начал думать, что камера на самом деле становится громче при таких настройках. Я проверил эту теорию, сделав два снимка с разными значениями ISO, и — могу поклясться! — затвор камеры был значительно громче при более высоком ISO. После этого в течение смущающе долгого времени я ходил, думая, что высокие значения ISO можно использовать, за исключением музеев или соборов, где требуется тишина.Я сомневаюсь, что многие другие люди так безнадежно заблуждались в отношении шума, но все же есть несколько аспектов шума, которые часто неправильно понимают даже продвинутые фотографы.

Что такое шум?

Шум — это зернистая вуаль на фотографии, затемняющая детали и значительно ухудшающая изображение. В некоторых случаях фотографии могут быть настолько шумными, что их практически нельзя будет использовать. На каком-то уровне мы все хорошо знакомы с понятием шума — если не в фотографии, то в других областях, таких как музыка и звукозапись.

Вы наверняка замечали, что даже в тихой комнате в записываемых видео или аудио слышно фоновое «шипение». Это шипение мы обычно не слышим, но оно проявляется в аудиозаписях (особенно с микрофоном более низкого качества). Где-то по пути в ваш звук вкрались несовершенства.

То же самое и в фотографии. На самом деле, даже если вы сделаете снимок с закрытой крышкой объектива, полученное изображение не будет полностью черным . Это может быть близко, но всегда будут крошечные недостатки: случайные, яркие и обесцвеченные пиксели.

В этом случае вы можете очень легко увидеть случайные пиксели, просто сделав изображение ярче в Lightroom или Photoshop. Если вы никогда не делали этого раньше, разумно подумать, что он просто плавно масштабирует фотографию от черного к серому и к белому без проблем, но это не так. Вместо этого на практике фотография будет становиться все уродливее и уродливее, с огромными участками обесцвечивания и странными пикселями. Это известно как шум.

Что вызывает шум на фотографии?

Технически, некоторое количество шума будет всегда на каждой фотографии. Вы ничего не можете сделать, чтобы предотвратить это; это физическое свойство света и фотографии.

На ваших фотографиях есть два основных типа шума: дробовой шум и цифровой шум. Хотя дробовой шум и цифровой шум возникают из разных источников, обычно их трудно отличить друг от друга, когда вы смотрите на итоговую фотографию, поскольку они обычно приводят к одному и тому же результату: пиксели случайным образом становятся слишком яркими, слишком темными или обесцвеченными.

Дробовой шум

Дробовой шум, или фотонный шум, — это случайность, вызванная фотонами в снимаемой вами сцене, которые незаметны и случайны.

Свет излучается и отражается от всего, что вы можете видеть, но это не происходит по фиксированной схеме, и в результате получается зернистость. Например, очень тусклая лампочка может излучать в среднем 1000 фотонов в секунду, но каждая отдельная секунда будет немного отличаться — 986 фотонов, 1028 фотонов, 966 фотонов, 981 фотонов, 1039 фотонов и так далее. Если вы делаете снимок этой лампочки длиной в одну секунду, вы не получите каждый раз один и тот же результат. Это то, что фотографы называют «дробовым шумом» на изображении.

Цифровой шум

Цифровой шум или электронный шум — это случайность, вызванная датчиком камеры и внутренней электроникой, которые вносят несовершенства в изображение.

Иногда цифровое изображение может иметь четко видимый рисунок, хотя это зависит от камеры. В цифровой фотографии важны как дробовой, так и цифровой шум.Дробовой шум обычно оказывает большее влияние на ваши фотографии, но цифровой шум является причиной того, что фотография с крышкой объектива не полностью черная. Каждый имеет значение.

Как минимизировать шум в фотографии

Вы можете думать о шуме, по сути, как о «фоне» для каждого вашего снимка. Он всегда будет рядом, независимо от того, что вы фотографируете. Ваша цель, таким образом, состоит в том, чтобы фактические данные (т. е. реальная сцена, которую вы пытаетесь сфотографировать) превосходили этот фон.Лучший способ сделать это — захватить больше света.

Рассмотрим ситуацию, когда вы не захватываете достаточно света в поле, а шум в изображении подавляет сигнал — реальную информацию. Во-первых, ваша фотография будет очень темной. Вы не захватили много света со сцены. Но помимо этого, когда вы пытаетесь осветлить фотографию на своем компьютере, вы сделаете и сигнал, и большую долю шума более заметными, в результате чего фотография будет выглядеть очень зернистой и обесцвеченной!

Если вы когда-либо слышали термин отношение сигнал-шум , то это то, что он имеет в виду.Фотография с «большем количеством шума» не всегда плохо сказывается на качестве изображения, потому что сигнал также мог увеличиться, возможно, на пропорционально большую величину, что в целом сделало шум менее заметным. Здесь важно просто соотношение.

Итак, как добиться наилучшего качества изображения на ваших фотографиях? Все дело в том, чтобы захватить больше фактических сигналов , чтобы вы могли подавить фоновый шум, который всегда будет присутствовать. Вы можете сделать это, используя более длинную выдержку, установив более широкую диафрагму или сфотографировав более светлую (более яркую) сцену.Другими словами, захватывая большую «световую экспозицию».

Вот как можно уменьшить появление шума на изображении. Любой, кто говорит вам использовать более низкое значение ISO для уменьшения шума, слишком упрощает ситуацию. Если вы просто уменьшите значение ISO, не изменяя никаких других настроек, чтобы захватить больше света, вы просто получите более темную фотографию — фотографию, которую вам нужно осветлить при постобработке, обнажив весь шум, который вы пытались скрыть (и, по сути, , как правило, больше, чем если бы вы только что использовали более высокое значение ISO).

Как ISO влияет на цифровой шум

Значение ISO — это единственная настройка камеры, кроме диафрагмы и выдержки, которая делает фотографию ярче. Обычно говорят, что повышение ISO (чтобы получить более яркую фотографию) увеличивает шум. Это правда?

Начните с основ. ISO никак не влияет на дробовой шум. Физически не может.Как мы говорили минуту назад, дробовой шум полностью связан со случайностью света, испускаемого и отражаемого самой сценой, — то, что никак не может зависеть от настроек вашей камеры.

Итак, ISO влияет только на цифровой шум, также известный как электронный шум. Поначалу это может показаться удивительным, но после некоторого размышления это обретает смысл: для типичных камер при нормальных настройках повышение ISO снизит количество электронного шума. Это прямо противоположно тому, что вам, вероятно, говорили.

Прежде чем в раздражении бросить фотографировать, помните: Для качества изображения важно не фактическое количество шума. Это отношение сигнал/шум.

Использование более высокого значения ISO уменьшит «количество» шума . Но когда вы снимаете с высоким значением ISO, это происходит потому, что у вас не было выбора, и вы не могли сделать фотографию ярче каким-либо другим способом, т. е. захватив больше фактического света. Это означает, что ваше отношение сигнал/шум будет не очень хорошим. Другими словами, вы не собрали достаточно данных, чтобы преодолеть завесу шума, даже если эта завеса немного менее сильна.

Здесь я подчеркну, что для вашей камеры полезно уменьшить электронный шум при более высоких значениях ISO. Вот почему мы повышаем ISO в камере, а не снимаем с базовым ISO и повышаем яркость всего при постобработке — таким образом вы получаете повышение качества изображения, поскольку электронный шум ниже. Но соотношение сигнал-шум — это то, что действительно важно для качества изображения, поэтому фотографы не снимают все подряд при ISO 12 800. На сегодняшний день лучший способ уменьшить появление шума на изображении — заглушить его светом.

(Действительно, в том же духе, фотографирование более яркой сцены увеличивает «количество» фотонного шума. Но это значительно увеличивает сигнал , улучшая отношение сигнал/шум и, следовательно, качество изображения. .)

Работает ли программное обеспечение для шумоподавления?

Наконец, некоторые люди наверняка заинтересуются настройками «шумоподавления» в своих программах постобработки.Действительно ли они уменьшают шум или есть подвох?

На практике есть подвох. Использование алгоритмов шумоподавления уменьшит видимый шум на вашей фотографии, но также нанесет вред реальным деталям и сделает их менее четкими. Если вы используете слишком сильное шумоподавление, ваши фотографии будут выглядеть как пластиковые. Это намного хуже, чем простое зерно.

Шумоподавление по-прежнему является полезным инструментом. Если шум на изображении особенно заметен, вы можете использовать постобработку, чтобы уменьшить его часть. Полезным методом здесь является применение выборочного шумоподавления к большим областям без особой детализации, таким как не в фокусе фон, при одновременном уменьшении шума на изображении в целом.

Итог: не отказывайтесь полностью от шумоподавления, но будьте осторожны при его использовании.

Резюме

На фотографиях с большим количеством шума, цифрового или дробового, случайные дефекты преобладают. Ваша камера на самом деле не громче, но ее может раздражать то, что реальные детали вашей фотографии недостаточно сильны, чтобы заглушить шумовой фон.

Нетрудно использовать эти знания для получения более качественных изображений. Просто увеличьте реальные данные, которые вы снимаете, когда это возможно (с более длинной выдержкой, большей диафрагмой или более яркой сценой). Если вы достигли разумного предела для этих трех переменных, ваши остальные варианты не очень хороши. Увеличьте значение ISO, чтобы уменьшить цифровой шум (предпочтительнее), или осветлите фотографию с помощью программного обеспечения для постобработки (не так хорошо, если только вы не используете неизменную настройку ISO). В любом случае, всегда лучше захватить больше света.

Цифровой шум и дробовой шум — это случайность, и единственный способ подавить случайность — использовать реальные данные. Если вы будете помнить об этом, вы сможете свести к минимуму шумы на своих фотографиях и делать снимки самого высокого качества.

Что такое шум цифровой камеры и как его исправить

Вы когда-нибудь видели термин «шум» и задавались вопросом, что это такое? Или, может быть, вы заметили, что некоторые из ваших изображений не такие четкие и четкие, как вам хотелось бы, и выглядят почти зернистыми. Причиной может быть цифровой шум. Поняв, что такое шум и как он попадает на ваши фотографии, вы можете предпринять несколько шагов, чтобы его избежать. А для тех случаев, когда шум неизбежен, мы также обсудим некоторые способы его устранения.

Что такое шум?

Как и в случае со звуком, где шум относится к слуховым нарушениям, в фотографии термин цифровой шум относится к визуальному искажению. Шум выглядит как крошечные цветные пиксели или пятнышки на вашей фотографии, а иногда напоминает зернистость, которую вы можете увидеть на пленочной фотографии. Скорее всего, вы заметите больше шума на фотографиях, сделанных в условиях низкой освещенности. Шум может исказить визуальные детали вашей фотографии, что делает его тем, чего фотографы стараются избегать.На уровень шума могут влиять несколько факторов, в том числе размер сенсора, более высокие настройки ISO и длительные выдержки, и это лишь некоторые из них.

Как избежать шума

Если вы замечаете много шума на своих фотографиях, в первую очередь нужно определить, какие факторы могут способствовать этому. Как только вы сможете точно определить, откуда исходит шум, вы сможете предпринять шаги, чтобы его избежать. Вот несколько способов предотвратить большое количество шума:

Низкое значение ISO: При более высоких значениях ISO создается больше шума, поэтому рекомендуется снимать с минимально возможным значением ISO, сохраняя при этом правильную экспозицию.Различные зеркальные камеры будут различаться по своей способности снимать при высоких значениях ISO без шума, и это во многом связано с датчиком камеры (подробнее об этом ниже). Примеры ниже показывают, как ISO влияет на количество шума в изображении. Все эти изображения были сняты на Canon 6D. На изображении, снятом с ISO 16000, шум значительно более заметен при увеличении изображения. Вы можете видеть, что при снижении ISO даже до 4000 увеличивается четкость деталей и уменьшается количество шума.Это становится еще более очевидным при ISO 2500.

Я пытаюсь увеличить ISO в качестве последнего средства для получения правильной экспозиции. Когда я снимаю в условиях низкой освещенности и мне нужно получить больше света на матрицу моей камеры, чтобы правильно экспонировать изображение, я всегда стараюсь сначала открыть диафрагму. Если мне все еще нужно больше света, я уменьшаю скорость затвора до минимально приемлемой скорости для объекта, который я фотографирую, прежде чем увеличивать ISO.

Сенсор большего размера: Размер сенсора камеры играет большую роль в конечном качестве изображения, включая уровень шума на фотографии.Сенсор вашей камеры содержит миллионы «фотосайтов» или светочувствительных пятен, используемых для сбора и записи информации, поступающей через объектив вашей камеры. Естественно, больший датчик имеет возможность собирать больше информации. Следовательно, чем больше сенсор вашей камеры, тем лучше качество изображения. Разница в размере сенсора является одной из основных причин, по которой камеры с кроп-сенсором производят изображения с большим количеством шума при повышенных значениях ISO, чем полнокадровые камеры. Подробнее о кроп- и полнокадровых камерах можно прочитать здесь.

Правильная экспозиция: Когда фотография экспонирована правильно, в изображение вносится меньше шума. Выбирая экспозицию прямо в камере, вы можете избежать ненужного шума. См. сравнение ниже. Изображение слева было правильно экспонировано в камере , а изображение справа изначально было недоэкспонировано, а экспозиция была увеличена в в Lightroom. Оба изображения были сняты с ISO 12800.   Обратите внимание на существенную разницу в уровне шума на изображении справа.Правильная экспозиция изображений в камере имеет большое значение для предотвращения нежелательного шума.

Можно ли исправить шум?

Некоторые камеры имеют встроенную функцию шумоподавления, которая может быть полезной, но я не использую эту функцию, так как шумоподавление очень просто в постобработке. В модуле «Разработка» Lightroom вы можете уменьшить появление шума на изображениях, используя ползунок «Яркость» на панели «Детали». Просто переместите ползунок вправо, чтобы уменьшить шум, соблюдая осторожность, чтобы не зайти слишком далеко.Слишком сильное шумоподавление может привести к потере деталей на изображении, придавая им «пластмассовый» вид, поэтому обязательно следите за общим видом изображения при использовании этой функции.

В следующий раз, когда вы столкнетесь с цифровым шумом на изображениях, проверьте, не поможет ли один из приведенных выше советов предотвратить или исправить его, чтобы вы могли получать четкие, чистые изображения без неприятных искажений. этот шум привносит ваши изображения.

Понимание шума изображения в ваших фильмах и видеопроектах

Ничто так не портит кадр, как шум.Знание того, что вызывает это и как его распознать, может избавить вас от многих разочарований и некоторых бесполезных кадров.

Мало что так расстраивает, как обнаружение шума на изображении во время съемки, но невозможность определить причину проблемы. В этой статье мы подробно рассмотрим шум, сначала рассмотрев некоторые основы сенсорной науки, прежде чем исследовать шум в его различных формах. Итак, с чего начать?

Визуализация.

Основы визуализации

Шум исходит из нескольких источников.Отраженный свет попадает в объектив и падает на датчик, который покрыт миллионами фотосайтов — или пикселей — которые преобразуют переменные уровни световых волн в цифровые сигналы. Эти небольшие отклонения в токе создают изображения в современных датчиках.

В наиболее распространенном в наши дни датчике для кинопроизводства CMOS, прикрепленном к каждому фотосайту, представляет собой усилитель, который регулирует выходной сигнал каждого пикселя, уменьшая или повышая напряжение, делая изображение темнее или ярче соответственно.Пользователь может сделать это, отрегулировав усиление или ISO. Данные с датчика считываются, и заряд пикселя сбрасывается.

После считывания информации датчика данные проходят через 12-разрядный аналого-цифровой преобразователь (часто сокращается до АЦП или аналого-цифрового преобразователя), где дисперсия напряжения для каждого пикселя преобразуется в двоичное значение. Кроме того, расположение пикселей и другие пользовательские настройки камеры сохраняются в качестве метаданных на устройстве хранения камеры.

Большая часть шума исходит от датчика или аналого-цифрового преобразования.

Что такое шум изображения?

Проще говоря, шум изображения — это нежелательные колебания цвета или яркости, которые затемняют детали снимка, который вы пытались сделать. (Вы можете увидеть примеры различных видов шума на Neat Video.)

Шум на изображении возникает в основном в недоэкспонированных материалах, поскольку пиксели имеют небольшие колебания освещенности, чтобы отразить их в предполагаемом изображении, но чрезмерно усиливаются повышенными значениями ISO. Помимо экспозиции, датчики также подвержены ряду других проблем, которые создают шум на конечном изображении.Нагрев датчика или другие внешние помехи также могут вызывать шум.

Шумы изображения можно разделить на две категории: внутренние и интерференционные.

Внутренний шум

Изображение через Neat Video.

Шум изображения, возникающий внутри камеры, имеет несколько основных причин. Тремя основными причинами являются электричество, тепло и уровень освещенности датчика.

В условиях низкой освещенности, когда датчик подвергается перенапряжению (выдвигается значение ISO), каждый пиксель имеет очень небольшие колебания световой волны, о которых необходимо сообщить перед усилением. Когда вы видите шум в этих ситуациях, вы на самом деле видите, что затронутые пиксели сообщают о колебаниях напряжения усилителя пикселя на датчике.

Помехи Шум

Изображение через Neat Video.

Факторы, не зависящие от камеры, также могут влиять на уровень шума в конечном изображении. Этот вид шума немного реже, чем внутренний шум во многих современных камерах, но он все же может повлиять на конечное изображение.

Интерференционный шум, как правило, довольно легко заметить, потому что он больше похож на наложение узора на изображение, чем на дрожание, присущее электронному шуму.Бытовые факторы, такие как сильные радиопередачи в этом районе, также могут вызывать электронные помехи, и их так же трудно контролировать, как и космическое излучение.

Каковы наиболее распространенные типы видеошумов?

Внутренний

• Гауссов шум

  Изображение через NeatVideo.

  Гауссовский шум — это тип шума датчика. В первую очередь это побочный эффект нагрева сенсора. Нагрев обычно является результатом напряжения и уровня освещенности датчика.

  Гауссовский шум

  наиболее заметен как постоянный, колеблющийся на недоэкспонированном кадре с перенапряжением (ISO увеличен для получения экспозиции).В большинстве датчиков этот шум имеет тенденцию быть синим на недоэкспонированных изображениях.

• Фиксированный шум

  Шум фиксированной формы обычно возникает из-за дефектов в процессе производства конкретного датчика. Возникает, когда разные пиксели имеют разный уровень светочувствительности.

  В видео этот шум относительно легко заметить из-за небольшой разницы в выходных уровнях затронутых пикселей. FPN не двигается и не болтает, как другие формы электронного шума.Вместо этого он выглядит как наложение пикселей, более ярких, чем реальная записываемая информация. Это легче всего заметить в условиях низкой освещенности, но другие факторы также могут усугубить ситуацию.

• Шум из соли и перца

  Изображение через NeatVideo.

  Технически называемый «распределенным толстым хвостом» или «импульсным» шумом, шум соли и перца проявляется в том, что пиксели ошибочно сообщают о ярких считываниях в темных частях кадра или о темных считываниях в ярких частях.Это похоже на битые пиксели, за исключением того, что шум соли и перца будет создавать этот эффект случайным образом. Обычно такой шум вызывается аналого-цифровым преобразованием или другими ошибками в интерпретации пикселей.

• Выстрел

  Изображение через NeatVideo.

  Дробовой шум — это основной тип шума в темных частях изображения. Технически называемый «Фотонный шум», этот тип шума возникает из-за естественных, присущих вариаций фотонов, попадающих в каждый пиксель в любой момент времени, в зависимости от уровня экспозиции.С технической точки зрения причиной этого являются «статистические квантовые флуктуации», но вы поняли идею.

  Дробовой шум является основной причиной «блочности» в тенях при недоэкспонированном или перенапряженном снимке. На экстремальных уровнях дробовой шум становится шумом соли и перца.

• Квантование

  Квантование — это термин, не относящийся к шуму изображения. По сути, квантование уменьшает большой набор (обычно) постоянно меняющихся значений, чтобы получить подходящее значение общей суммы или меньший репрезентативный набор выходных данных.Квантизаторы имеют заданное количество возможных выходных значений, и по мере обработки данных они эффективно округляются до одного из этих значений.

  Квантование довольно просто понять в видеоприложениях — миллионы отдельных показаний пикселей квантуются в меньший репрезентативный набор. В видеокругах это обычно называют «биннингом пикселей».

  В видео шум квантования обычно не обнаруживается, так как все пиксели будут затронуты более или менее одинаково. Ошибки могут возникать, когда клипы изображения выходят далеко за крайние пределы значений квантования аналого-цифрового преобразователя. Это также может быть значительно усугублено сильными шумами других типов на изображении.

• Анизотропный

  Анизотропный (анизотропный) шум возникает, когда показания датчика дискретизируются или квантуются. Этот тип шума снижает воспринимаемое разрешение изображения на затронутых снимках, смешивая мелкие детали вместе, создавая шаблоны, которых на самом деле нет, или интерпретируя прямые линии как зубчатые.

  Любой, кто знаком с видео, должен довольно быстро понять это — просто подумайте об ужасном алиасинге и муаре первых нескольких поколений зеркальных фотокамер.

  Этот тип шума в видеокамерах обычно проявляется, когда собственное разрешение сенсора намного выше записываемого. Многие старые камеры предпочитали сэмплировать более высокое разрешение до записанного разрешения, а не просто масштабировать вывод, чтобы он соответствовал, что вызывало большую часть ужасного алиасинга и муара ранних широкоформатных видеосенсоров.

Помехи

• Периодический

  Изображение через NeatVideo.

  Периодический шум представляет собой интерференционный шум.Это происходит, когда любое количество естественных или искусственных сигналов мешает записанному сигналу. Обычно он выглядит как наложение фиксированного шаблона поверх нужного изображения.

При работе с видео очень важно научиться определять тип шума, который влияет на изображение во время съемки. Для многих типов шума на изображении существуют довольно простые способы уменьшить или свести на нет негативное влияние на отснятый материал, если вы знаете, как определить правильный тип шума во время съемки. Если вы видите шум на своем изображении, не забудьте отойти от камеры, отметить свое окружение, а затем просмотреть список каждого типа шума в своей голове, чтобы разработать стратегию, чтобы уменьшить головную боль при постобработке.Технические средства сослужат вам хорошую службу, но никогда не сбрасывайте со счетов немного творческой изобретательности.

Изображение обложки via 25krunya.

Хотите узнать больше о производстве видео? Ознакомьтесь с этими статьями.

Сравнение шума датчиков лучших камер

Камеры часто противоречат друг другу в области качества изображения, но шум сенсора при длительной выдержке, как правило, не является чем-то, что вы можете легко сравнить в Интернете. Поэтому фотограф Брендан Дэйви взял на себя ответственность за создание такого ресурса, и в результате появилась база данных Sensor Noise DB.

Как фотограф, который много снимает ночные пейзажи и северное сияние, Дэйви ценит камеры с минимальным уровнем шума при съемке с длительной выдержкой и высокими значениями ISO. Чтобы определить базовые характеристики камер, Дэйви снимает с длинной выдержкой, прикрепив вместо объектива защитную крышку.

Для каждой камеры, которую он тестирует, Дейви снимает 3 разные экспозиции с выдержкой 1, 30 и 300 секунд (т. е. 5 минут). Другие факторы остаются неизменными: свет не попадает в видоискатель, температура окружающей среды комнатная, ISO установлено на 3200, шумоподавление отключено, захват RAW с максимальным количеством бит на канал.

Чтобы сравнить результаты двух камер, просто выберите их в раскрывающемся меню базы данных Дейви. Вот сравнение Canon 1D X с Nikon D4:

Дэйви рассказал PetaPixel, что его тесты дали интересные результаты. Во-первых, камеры часто хорошо работают при выдержке 1 и 30 секунд, но очень плохо при выдержке 5 минут (например, две камеры выше).

Например, Nikon D7100 очень плохо снимает на длинных выдержках при высоких значениях ISO:

«Я уверен, что астрофотография не является приоритетом для компаний, и 1Dx, без сомнения, отлично подходит для обычной съемки при слабом освещении», — говорит Дэйви.«В конце концов, какому свадебному фотографу или спортивному фотографу понадобится сабвуфер на 1 секунду?»

Дэйви также обнаружил, что некоторые камеры выполняют дополнительное шумоподавление на фотографиях независимо от настроек камеры.

«Хороший пример — Fuji X-Pro2, — говорит Дэйви PetaPixel. «Похоже, что датчик действительно становится лучше с более длительными выдержками. МММ хорошо.»

База данных также показывает, что трата большего количества денег не всегда дает вам лучшие результаты в этом отделе.Поскольку некоторые модели камер в любом случае используют одни и те же (или похожие) датчики, разница в результатах тестов может быть незначительной или отсутствовать, несмотря на разницу в ценниках.

Например, Canon 7D за 999 долларов и Canon 700D за 600 долларов (он же T5i):

Если вы хотите посмотреть, как ваша камера складывается в шуме сенсора по сравнению с другими телами, зайдите в базу данных шумов сенсора и посмотрите ее.

Границы | Алгоритм фильтрации шума для датчиков изображения с асинхронным обнаружением изменений на основе событий на TrueNorth и его реализация на TrueNorth

1.Введение

Вдохновленные эффективной работой биологического зрения, исследования нейроморфных датчиков изображения, основанных на событиях, или «кремниевых сетчаток», начались несколько десятилетий назад (Mahowald and Mead, 1991). В последнее время технология созрела до такой степени, что датчики стали коммерчески доступными. Датчик динамического зрения (DVS) (Lichtsteiner et al., 2008), асинхронный датчик изображения на основе времени (ATIS) (Posch et al., 2011), чувствительный DVS (Leñero-Bardallo et al., 2011) и динамический датчик зрения с активными пикселями (DAVIS) (Berner et al., 2013) являются одними из популярных датчиков обнаружения изменений Address Event Representation (AER), которые можно использовать для различных приложений. В отличие от обычных датчиков изображения, которые работают путем дискретизации сцены с фиксированной временной частотой (обычно от 30 до 60 Гц), эти датчики используют пиксели дискретизации с пересечением уровней, которые асинхронно и независимо сигнализируют о событии, если обнаруживается достаточный временной контраст (Posch et al., 2014). Это приводит к более широкому динамическому диапазону, более низкой скорости передачи данных и более низкому энергопотреблению по сравнению с формирователями изображений на основе кадров. Было исследовано несколько возможных применений этих датчиков, включая мониторинг дорожного движения (Litzenberger et al., 2006), стереовидение (Rogister et al., 2012), высокоскоростные сенсомоторные петли (Delbruck and Lang, 2013), оценку движения (Orchard и Etienne-Cummings, 2015) и оценку позы (Valeiras et al., 2016).

Однако большинство работ по обработке событий, генерируемых кремниевой сетчаткой, выполняется на ПЛИС или микроконтроллерах, что приводит к более низкой энергоэффективности всей системы, чем та, которую обеспечивают сенсоры.Следовательно, взаимодействие этих датчиков с нейроморфными процессорами с низким энергопотреблением принесет пользу разработке систем с низким энергопотреблением, которые потенциально могут быть развернуты в носимых устройствах или в качестве датчиков в Интернете вещей (IoT). В последние годы было предложено несколько маломощных нейроморфных процессоров (Painkras et al., 2013; Benjamin et al., 2014; Chen et al., 2016), и некоторые из них были сопряжены с импульсными датчиками изображения (Orchard et al. , 2015). Однако рассеиваемая мощность этих систем все же на порядок больше, чем требуется для носимого устройства.С другой стороны, процессор TrueNorth, разработанный IBM (Merolla et al., 2014), имеет как низкое энергопотребление, так и большое количество нейронов, доступных на одном чипе, необходимом для взаимодействия с датчиками изображения. Он обрабатывает всплески данных в режиме реального времени с фиксированной частотой 1 кГц, используя распределенную память, хранящуюся локально в каждом ядре, а не в одном центральном месте. TrueNorth потребляет очень мало энергии, примерно 50–70 мВт для типичных сетей, и обеспечивает хорошее сочетание энергоэффективности и конфигурируемости.Как следствие, недавно появились сообщения о взаимодействии TrueNorth с «кремниевой сетчаткой» для создания приложений для зрения с низким энергопотреблением в реальном времени (Amir et al., 2017).

В соответствии с вышеуказанной тенденцией в этой работе мы предлагаем набор примитивов фильтрации шума, которые можно использовать в качестве блока предварительной обработки для приложений обработки изображений на основе событий в TrueNorth. Концепции, представленные в этой статье, также могут быть использованы для реализации фильтрации шума для кремниевых сетчаток на других встраиваемых аппаратных платформах.В этой работе мы сосредоточимся на случае статической камеры, наблюдающей за сценой, например, в сценарии наблюдения. Алгоритмы фильтрации шума, такие как ближайший сосед для формирователей изображений на основе событий, представленные в литературе, используют временную корреляцию, связанную с активностью соседних пикселей (Dominguez-Morales, 2011; Ieng et al., 2014; Linares-Barranco et al., 2015; Liu et al., 2015; Czech and Orchard, 2016). Хотя эти фильтры фиксируют активность быстро движущихся объектов, они обычно отфильтровывают активность небольших и медленно движущихся объектов из-за слабой временной поддержки.Показано, что фильтр шума на основе импульсной нейронной сети, предложенный в этой статье, работает лучше, чем другие популярные фильтры в этом отношении, и сохраняет большую часть активности, связанной с сигналом (и иногда генерирует больше событий, чем ввод), при этом отфильтровывая большую часть шума. событий, которые полезны для отслеживания и классификации объектов в наших предполагаемых приложениях.

Эта статья имеет следующую структуру. В разделе 2 мы описываем установку ATIS, используемую в наших экспериментах, а также характер записываемых данных.В разделе 3 представлен обзор TrueNorth, а в разделе 4 мы представляем подходы к фильтрации шума. Мы представляем реализацию фильтра шума на TrueNorth в разделе 5, а результаты экспериментов представлены в разделе 6. Наконец, мы завершаем статью некоторыми обсуждениями будущей работы в разделе 7.

2. Асинхронный датчик изображения на основе событий (ATIS)

В отличие от традиционных кадровых датчиков компьютерного зрения, которые фиксируют информацию об абсолютной интенсивности света (значения оттенков серого или цветных пикселей) через постоянные интервалы времени (период кадра), датчики изображения с обнаружением изменений AER работают, определяя, когда и где происходят изменения интенсивности. в сцене.В работе используется АТИС с разрешением 304×240 = 72 960 пикселей. Выход данных АТИС представляется в виде потока событий в формате AER. В формате AER, K ^к мероприятия, E k _K , состоит из физического адреса ( x _K , k _K ) пиксель, сгенерировавший событие, отметка времени, t _k , события (в микросекундах) и полярность, p _k , представляющая, происходит ли изменение интенсивности в положительном или отрицательном направлении. , я.е., p _k ∈ {1, −1}. В математической форме этого события e _k представляется следующим образом:

ek=(xk,yk,tk,pk)    (1)

Описание механизма генерации событий, подробные сведения и работа внутренних схем различных датчиков, основанных на событиях, представлены в Posch et al. (2014).

2.1. Данные АТИС

Установка ATIS на транспортной развязке, используемая для сбора данных AER о движущихся объектах на дороге с вида сбоку, показана на рисунке 1A. Движущиеся объекты в данных делятся на шесть категорий: (1) автомобиль, (2) автобус, (3) фургон, (4) пешеход (человек), (5) велосипед и (6) грузовик. Имеется 9 образцов записей разной продолжительности и разного количества этих объектов, фиксирующих движение пешеходов и транспортных средств на дороге в поле зрения этой установки камеры и на фиксированном расстоянии примерно 50 м. Каждая запись имеет разное количество дневного света, начиная с первой записи в 18:00. до последнего около 19:15.м. Полная информация об этих записях представлена ​​в таблицах 1, 2.

Рисунок 1 . Запись данных из установки ATIS. (A) Настройка ATIS для записи движущихся транспортных средств и (B) Четыре снимка экрана в (i) 111,78 с с 18:00. запись, (ii) 39,67 с с 18:30. запись, (iii) 34,29 с с 18:50 записи и (iv) 34,48 с с 19:15. запись, показывающая движущиеся объекты, захваченные ATIS в (A) в сцене с шестью различными типами объектов (1) автомобиль (красный), (2) автобус (желтый), (3) фургон (зеленый), (4) ) Человек (голубой), (5) велосипед (синий) и (6) грузовик (розовый), обозначенные соответствующим номером этикетки и индикатором цвета, указанными в таблице 2.

Таблица 1 . Подробная информация о данных о дорожном движении, записанных с помощью ATIS.

Таблица 2 . Подробная информация о каждом классе объектов, присутствующих в файлах данных о трафике.

Скриншоты выходного видеосигнала ATIS в различные моменты времени из четырех разных записей представлены на рисунке 1B. Эти скриншоты дают представление о том, как объекты были захвачены ATIS с различной фоновой активностью с течением времени. Мы также можем заметить из настройки ATIS на рисунке 1A и скриншотов записей на рисунке 1B, что активность захваченных объектов в основном приходится на середину сцены вдоль горизонтального направления, где объекты движутся справа налево и слева направо. правильно.Для наглядности каждый интересующий объект на этих снимках экрана показан с определенным номером метки/класса и цветом трекера, к которому он принадлежит, как указано в таблице 2.

Файлы аннотаций для всех записей были созданы вручную путем наблюдения за видеовыходами. Они фиксируют информацию о треке каждого объекта в этих записях, относящегося к определенному классу. Трекер (или ограничительная рамка) различного размера, окружающий объект, разработан для инкапсуляции потока событий, генерируемого для каждой дорожки движущегося объекта.Используя информацию о каждом трекере в сцене из полученных данных и файлов аннотаций, мы суммировали детали размера ограничивающей рамки и средних событий, захваченных в каждом классе объектов в записях в таблице 2.

2.2. Характеристики данных

Из таблицы 1 видно, что записи делятся на три группы в зависимости от частоты появления объектов в сцене. Первая группа состоит из наиболее часто появляющихся объектов, в нашем случае это автомобили.Вторая группа — это автобусы, пешеходы и велосипеды, частота появления которых меньше, чем у автомобилей. Последняя группа — это Van и Truck, которые появляются еще реже. Эти записи имеют ряд неидеальностей, обычно присутствующих в записях уличных сцен. Характеристики событий, генерируемых быстро движущимися объектами, такими как автомобиль, автобус и велосипед, существенно отличаются от медленно движущихся пешеходов. Часто бывает сложно сохранить активность медленно движущихся пешеходов по сравнению с фоновым шумом во время фильтрации шума.Кроме того, компактность транспортного средства (велосипед), контрастность движущегося транспортного средства по всей его длине (автобус), форма транспортного средства (фургон по сравнению с автомобилем и автобус по сравнению с грузовиком) являются одними из факторов, определяющих способ захвата движущегося объекта. в этих записях. На этих записях также есть дерево и два электрических столба, которые перекрывают часть автомобиля при движении по этому месту.

2.3. Определения сигнала и шума

В этом исследовании, поскольку наш интерес заключается в извлечении движущихся объектов, Сигнал определяется как события, захваченные в каждом трекере/ограничивающей рамке, окружающей движущийся объект. Шум считается событиями или действиями, присутствующими за пределами этого трекера/ограничивающей рамки. Любой шумовой фильтр действует как на события сигнала, которые фиксируют движущийся объект, так и на события шума, присутствующие за пределами ограничивающей рамки средства отслеживания объектов. Задача фильтрации нежелательного шума за пределами трекера является важным этапом предварительной обработки для извлечения объектов для задачи классификации. Хороший фильтр удерживает большую часть сигнала и эффективно удаляет большую часть шумовых событий, присутствующих вне трекера после фильтрации.

Сенсор не только фиксирует изменение интенсивности света в определенном месте из-за движущихся объектов, но также создает некоторую шумовую активность по всей сцене в различных пикселях из-за движения фоновых объектов, таких как деревья, а также из-за шума сенсора. Наличие этой шумовой активности на заднем плане затрудняет выделение объектов для отслеживания. В зависимости от времени записи по мере уменьшения освещенности относительная сила фоновой активности увеличивается, как показано на рисунке 1B и в последнем столбце таблицы 1.В оставшейся части статьи мы описываем нейронную сеть и ее аппаратную реализацию для фильтрации шума в сценах с таким разнообразием объектов.

2.

4. Метрика оценки

Чтобы количественно оценить эффективность фильтрации шума с помощью алгоритмов, подробно описанных в разделе 4, и их реализации в TrueNorth, описанной в разделе 5 (таблица 3), мы сначала определим следующие термины и приведенные ниже показатели, чтобы вычислить их для нефильтрованных и отфильтрованных данных.

Таблица 3 .Определение и обозначения переменных, используемых при расчете метрик.

• Процент оставшегося сигнала

Процент сигнала, оставшегося после фильтрации, PSR ^f , определяется как количество событий сигнала после фильтрации по отношению к исходному количеству событий сигнала до фильтрации, т. е.

PSRf=EsignalfEsignalo×100    (2)

• Процент остаточного шума

Процент шума, оставшегося после фильтрации, PNR ^f , определяется как количество шумовых событий после фильтрации в процентах от количества шумовых событий до фильтрации, т. е.д.,

PNRf=ENOisefENoiseo×100    (3)

• Отношение сигнал/шум

Отношение сигнал/шум до фильтрации:

SNRo=10×log10(ESignaloENOiseo) в децибелах    (4)

Отношение сигнал/шум после фильтрации:

SNRf=10×log10(ESignalfENOisef) в децибелах    (5)

• Процент среднего количества оставшихся событий на класс

Процент среднего количества событий, оставшихся после фильтрации по классам, EPCclassf, определяется как процент общего количества событий после фильтрации определенного класса объектов по отношению к исходному количеству событий этого класса до фильтрации, i .эл.:

EPCclassf=EclassfEclasso×100    (6)

3. TrueNorth: обзор

IBM TrueNorth на рисунке 2A представляет собой нейроморфный чип с многоядерным массивом программируемых параметров подключения, синапсов и нейронов. В нашем эксперименте мы использовали плату IBM NS1e, содержащую 4096 ядер, 1 миллион нейронов и 256 миллионов синапсов. TrueNorth использовался для различных приложений глубокого обучения на основе сверточных нейронных сетей, а также служит идеальным оборудованием для задачи фильтрации.

Рис. 2. (A) Чип IBM TrueNorth на плате NS1e. (B) Каждый чип TrueNorth имеет 4096 ядер, и каждое ядро ​​имеет 256 входных аксонов, 256 выходных нейронов и 256 × 256 синапсов в матрице соединений. Рисунок адаптирован из Esser et al. (2016).

3.1. Архитектура TrueNorth

Архитектура чипа

TrueNorth организована в виде программируемых нейросинаптических ядер, и каждое ядро ​​состоит из 256 входящих входных линий, сопоставленных с 256 выходными нейронами с помощью синаптической перемычки, как показано на рисунке 2B.Матрица перекладины имеет 256 × 256 программируемых синапсов, и их сила определяется соответствующими нейронами, к которым они подключены. Существует четыре различных типа аксонов, которые могут быть назначены аксонам каждого ядра, где каждый основной нейрон должен иметь одинаковые синаптические веса для синапсов, связанных с аксонами одного и того же типа. Каждый синаптический вес представляет собой 8-битное значение со знаком. Каждый выходной нейрон может соединяться с другими нейронами, проецируя свой аксон (выход) на одну входную линию в том же ядре или в другом ядре.Поток данных передается через спайки либо от аксонов ко всем нейронам в одном ядре через синапсы бинарных ворот в перекладине, либо сам нейрон соединяется с аксоном в том же или другом ядре. Эта архитектура поддерживает максимум 256 входящих аксональных входов для каждого выходного нейрона, а также каждый входной аксон может отправлять эти входные данные на 256 выходных нейронов того же ядра. IBM предоставляет среду программирования Corelet (CPE) (Amir et al., 2013), которая позволяет пользователю создавать алгоритмы, которые впоследствии можно очень эффективно реализовать на оборудовании TrueNorth.Чтобы протестировать различные параметры аксонов, нейронов и синаптических поперечных соединений между аксонами и нейронами, нам нужно сконструировать корлет, который инкапсулирует эти синаптические ядра и их межъядерные связи. Подробная информация об абстракции и программировании corelet приведена в Amir et al. (2013)

3.2. Модель TrueNorth Neuron

Нейронная модель TrueNorth представляет собой вариант нейронной модели «интегрировать и активировать» с 23 параметрами для получения богатой динамики нейронов. Существенные особенности динамики мембранного потенциала нейрона TrueNorth, имеющие отношение к этому исследованию, отражены в уравнениях (7) и (8).

Обновление мембранного потенциала нейрона или переменной состояния В _j ( t +1) выходного нейрона j на следующем временном шаге ( t +1) оценивается путем суммирования Продукт входящего синаптического входа S _I ( T ) от каждого входного аксона I с соответствующими синаптическими весами W _I и добавление параметра утечки λ _J , и обновление на следующем временном шаге ( t + 1) в соответствии с уравнением (7).После обновления, если мембранный потенциал превышает пороговое значение α _j нейрона, то нейрон генерирует выходной импульс OutSpike _j ( t + 1) (1 для ON и 0 для ВЫКЛЮЧЕННЫЙ). После генерации спайка мембранный потенциал В _j ( t + 1) сбрасывается до потенциала сброса R _j , как показано в уравнении (8):

Vj(t+1)=Vj(t)+∑iSi(t)wi+λj    (7) если Vj(t+1)≥αj,OutSpikej(t+1)=1 & Vj(t+1) ←Rj    (8)

Подробные сведения о номенклатуре и диапазоне переменных, а также о различных механизмах сброса, доступных для модели нейронов TrueNorth, см. в Cassidy et al.(2013).

4. Подход к фильтрации шума в программном обеспечении и на TrueNorth

Шум в данных записей ATIS имеет две основные характеристики: (1) высокочастотные всплески происходят примерно в 0,7% от общего числа пикселей и (2) низкочастотные случайные события происходят по всей сцене. Чтобы устранить оба типа шумовых событий, мы используем подход двухуровневой фильтрации как в программном обеспечении, так и в TrueNorth, как показано на рисунке 3. Фильтрация в программном обеспечении выполняется для сравнения метрик оценки отфильтрованных данных из программного обеспечения с отфильтрованными данными на Истинный Север. Это помогает нам понять преимущества фильтрации на TrueNorth как в качественном, так и в количественном отношении. При фильтрации первого уровня как в программном обеспечении, так и в TrueNorth в данные вводится рефрактерный период, подробности которого обсуждаются в разделах 4.1 и 5.1.

Рисунок 3 . Двухуровневые подходы к фильтрации в программном обеспечении и TrueNorth. Первый слой вводит рефрактерность и снижает скорость повторного запуска пикселей, в то время как второй слой устраняет случайный шум, поскольку они не имеют достаточной пространственно-временной поддержки.

В литературе имеется несколько методов фильтрации шума для событийных данных, а также фильтр ближайшего соседа (NNb) (Dominguez-Morales, 2011; Ieng et al., 2014; Linares-Barranco et al., 2015; Liu et al. ., 2015) является наиболее часто используемым методом фильтрации среди других подходов, таких как разная полярность, рефрактерный период и межспайковый интервал (Czech and Orchard, 2016). Поскольку наша задача заключается в извлечении движущихся объектов и удалении фоновой активности, мы рассмотрим фильтр NNb, который более точно фиксирует активность движущегося объекта.Для фильтрации второго уровня в программном обеспечении фильтр NNb реализован в MATLAB, и описание алгоритма представлено в разделе 4.2.

Для фильтрации второго уровня в TrueNorth предложенный нами алгоритм фильтрации ближайших соседей на основе нейронных сетей (NeuNN), подробно описанный в разделе 4.3, используется после применения определенного рефрактерного периода в качестве фильтрации первого уровня. Алгоритм фильтрации NeuNN вдохновлен фильтром ближайших соседей в Czech and Orchard (2016) и сочетается с операциями сглаживания изображений при обычной обработке изображений (Gonzalez and Woods, 2008).Он был адаптирован для оборудования TrueNorth для фильтрации шума из данных на основе событий в реальном времени, а подробности реализации обсуждаются в разделе 5.2.

4.1. Слой 1: Алгоритм фильтрации рефрактерного периода

Концепция рефрактерного периода черпает вдохновение из физиологии нейронов, когда нейрон или клетка не проявляют немедленного ответа на стимул после потенциала действия и им требуется определенный период времени, называемый «рефрактерным периодом», чтобы восстановить свои ресурсы для нормальное состояние покоя после возбуждения. Рефрактерный период ограничивает самую высокую частоту импульсации нейронов и, следовательно, максимальную скорость возбуждения.

В исследуемых данных есть несколько пикселей с аномальной скоростью срабатывания из-за токов утечки датчика в некоторых пикселях, что создает высокочастотные всплески в этих пикселях. Применяя рефрактерный период, мы вводим минимальную разницу во времени между двумя последовательными событиями в конкретном пикселе, и это помогает более эффективно удалять события высокочастотного шума датчика на следующем уровне как в фильтре NNb в программном обеспечении, так и в фильтре NeuNN в TrueNorth. .Алгоритм применения рефрактерного периода T _ref к событийным данным AER из ATIS следующий.

Пусть текущее событие, полученное от датчика изображения, будет обозначено как e = ( x, y, t, p ) и пусть T(x,y)last будет меткой времени последнего входного события в местоположении ( x, y ), независимо от полярности, которая передается этим фильтром на выход. Пусть Δ T _{( x,y )} обозначает время, прошедшее с момента последнего достоверного события в месте ( x, y ), определяемое следующим уравнением:

ΔT(x,y)=t-T(x,y)последний    (9)

Тогда текущее событие передается фильтром на выход тогда и только тогда, когда выполняется следующее условие:

ΔT(x,y) > Tref    (10)

В противном случае это событие отклоняется и не проходит через вывод фильтра.

4.2. Уровень 2 в программном обеспечении: фильтр ближайших соседей (NNb)

Как следует из названия, всякий раз, когда m ^th событие e(x,y)m происходит в любом конкретном месте ( x, y ) с отметкой времени T(x,y)m, Фильтр ближайших соседей (NNb) учитывает отметку времени TNNb(x,y)m самого последнего события соседства eNNb(x,y)m, исключая текущий пиксель в точке ( x, y ) и на определенном расстоянии D _{( x,y )} вокруг этого пикселя ( x, y ) во всех направлениях (по горизонтали, вертикали и диагонали). Событие проходит через фильтр NNb, если разница во времени между T(x,y)m и TNNb(x,y)m меньше программируемого порога T _NNb , т.е.:

если T(x,y)m-Tm Отфильтрованное событие означает, что событие связано с активностью соседей и, вероятно, связано с движущимся объектом. Если разница во времени больше пороговой, то более вероятно, что это шумовое событие и устраняется с помощью этого фильтра.Мы будем строго рассматривать описанный выше фильтр NNb с расстоянием D(x,y) ≤ 2 (т. е. с окружением восьми соседних пикселей вокруг ( x, y ).

4.3. Уровень 2 в TrueNorth: фильтр ближайшего соседа на основе нейронной сети (NeuNN)

Как следует из названия, фильтр учитывает активность или события, происходящие в этом конкретном месте пикселя ( x, y ), включая активность соседних пикселей, окружающих этот пиксель ( x, y ). Эта активность суммируется с нейроном, и результат активности определяется на основе конфигурации параметров нейрона. Суммирование синаптической активности объединяется с утечкой и мембранным напряжением нейрона на предыдущем временном шаге с использованием уравнений динамики нейронов (7) и (8), приведенных в разделе 3.2. Эта сумма сравнивается с порогом, и если он больше или равен порогу, то нейрон запускает спайк. Выход этого нейрона соответствует отфильтрованному выходу этого пикселя.

5. Реализация фильтра шума на оборудовании TrueNorth

5.1. Уровень 1: знакомство с рефрактерным периодом с использованием нейронов на ядрах TrueNorth

Как описано в разделе 4.1 слой рефрактерного периода включает в себя минимальную разницу во времени между последовательными событиями в любом месте пикселя перед прохождением через фильтр NeuNN. Каждому пикселю требуется три входных аксона и три выходных нейрона, доступных в ядре TrueNorth, для потоковой передачи событий для функции рефрактерного периода. Отображение связности и параметры нейронов, указанные на рисунке 4A, используются для создания операции рефрактерного периода для каждого входного пикселя. Выходной сигнал нейрона, помечен-Параметры для нейронов 1 и 2 идентичны, что создает несколько копий выходного сигнала нейрона. Работу этой схемы можно описать следующим образом: в начале, когда от аксона 0 поступает спайк, нейроны 1 и 2 производят спайки, тем самым позволяя первому входному спайку появиться на выходе. Когда входной импульс отсутствует, нейрон 0 испускает импульс каждую миллисекунду из-за значения утечки (+1), порогового значения (1) и значения сброса (+1). Однако, когда есть вход обратной связи, поступающий с выхода нейрона 1, и он имеет отрицательный вес -( T _ref — 1), он снижает мембранный потенциал и ингибирует выброс, тем самым обеспечивая контроль параметров для установить желаемый рефрактерный период.Поскольку в каждом ядре имеется 256 входных линий аксонов и 256 выходных нейронов, каждому ядру можно сопоставить до 85 входных пикселей, взяв блок из трех аксонов и трех нейронов для каждого пикселя. Для отображения всех данных, поступающих от всех пикселей ATIS, требуется не менее 859 (304 × 240/85) ядер.

Рис. 4. (A) Картирование связности для функции рефрактерных нейронов вместе с параметрами нейронов. (B) Статистика ISI как для сигнальных, так и для шумовых событий показывает много шумовых событий на ISI между 1 и 10 мс, тогда как сигнальные события в основном имеют ISI выше 10 мс.Это используется для выбора значения рефрактерного периода в диапазоне 3–5 мс.

Чтобы выбрать соответствующую настройку для T _ref , мы построили гистограмму интервала между пиками ( ISI ) (рис. 4B) как для сигнала, так и для шума. Для этого события сигнала были извлечены на основе аннотированных дорожек допустимых объектов в сцене, а события шума соответствуют событиям, происходящим за пределами этих отмеченных ограничивающих рамок. Из рисунка 4В видно, что существует столько же шумовых событий с ISI < 10 мс, тогда как большинство сигнальных событий приходится на ISI > 10 мс. Для подавления этих часто возникающих шумовых событий рефрактерный период от 3 до 5 мс кажется подходящим выбором.

Основываясь на приведенном выше анализе, рефрактерный период T _ref в 5 мс используется на первом уровне обработки данных как в программном обеспечении, так и в TrueNorth перед применением любого из фильтров второго уровня, таких как NNb и NeuNN. на ПО и TrueNorth соответственно. Всего во всех объединенных записях 96 232 414 событий, и после прохождения всего набора данных через огнеупорный слой происходит потеря около 86.6 % исходных событий и всего 12 909 503 события (около 13,4 % исходных событий) были сохранены для второго уровня фильтрации. Влияние рефрактерного периода на аппаратную адаптацию слоя рефрактерного периода в TrueNorth идентично программной реализации в отношении отфильтрованных событий и подробно обсуждается в разделе 6.

5.2. Уровень 2: Применение фильтра NeuNN с использованием нейронов на ядрах TrueNorth

Для регулярного сопоставления данных, поступающих от ATIS, с каждым ядром TrueNorth, мы делим весь кадр (304 × 240) на патчи размером 12 × 12. Каждый патч из этого сопоставляется с каждым ядром в TrueNorth, и для этого сопоставления требуется в общей сложности 520 ядер для сопоставления всех пикселей ATIS. В этом примере мы используем размер фильтра 3 × 3, т. е. для выходного нейрона в точке ( i, j ) мы соединяем его с входным пикселем ( i, j ) и его восемью соседними пикселями. Однако описываемый нами метод также использовался для реализации фильтров 5 × 5 или 7 × 7. Все нейроны в этом фильтре используют одни и те же параметры положительного и отрицательного сброса = 0 и режима утечки = 0.Для исследования пространства проектирования вес w фиксируется во время моделирования, в то время как два других нейронных параметра порога, α и утечки, λ варьируются, чтобы найти оптимальные наборы параметров. Это делается потому, что только относительные значения (α/ w ) и (λ/ w ) определяют динамику нейронов и, следовательно, эффективность фильтрации. Подробная информация о сопоставлении входных пикселей ATIS с ядром TrueNorth представлена ​​в Приложении к дополнительным материалам.

6. Результаты и обсуждение

6.1. Оптимизация параметров фильтра уровня 2

6.1.1. Программный фильтр (NNb)

Для фильтра NNb мы прокрутили значение T _NNb в диапазоне 0,5–5 мс, чтобы увидеть, как оно влияет на три показателя: f и SNR ^f (в дБ). Результат этого исследования (при записи в 18:30) показан в таблице 4. Из таблицы 4 видно, что SNR ^f (в дБ) является самым высоким для наименьшего значения T . _NNb из-за очень небольшого количества остаточного шума.Однако при этой настройке количество оставшегося сигнала PNR ^f также очень мало, и на практике нам нужен баланс между SNR ^f (в дБ) и PSR 6. ф . Следовательно, на практике лучше использовать значения T _NNb в диапазоне 1–3 мс. В остальных симуляциях в этой статье мы используем T _NNb = 1 мс.

Таблица 4 . Влияние изменения параметра T _NNb в фильтре NNb на показатели фильтрации.

6.1.2. Фильтр TrueNorth (NeuNN)

Сеть NeuNN сконфигурирована с одним типом синапса с синаптическим весом w для всех синапсов и одним типом нейронов с порогом α и утечкой λ для всех нейронов. Исследование расчетного пространства осуществляется с отношением порог/вес, (α/ w ) и течь/вес, (λ/ w ) в пределах от [1–3] до [0.150–0,7] соответственно при фиксированном синаптическом весе. Метрики фильтрации, представленные в разделе 2.4, используются для изучения влияния параметров нейронов TrueNorth, и результаты представлены на рисунке 5.

Рисунок 5 . Влияние параметров нейрона TrueNorth на показатели из раздела 2.4 (на приведенном выше графике использовались данные за 18:30).

Из рисунка 5А сигнал, оставшийся после фильтрации, увеличивается с уменьшением как (α/ w ), так и (λ/ w ) и может превышать 100%. Причина этого в том, что выходные нейроны получают входные данные от всех соседних пикселей на определенном расстоянии, и когда (α/ w ) и (λ/ w ) низкие, фильтр очень часто всплескивает, что приводит к более выходные события, чем входные события для сигнала. Таким образом, вместо любой потери сигнала, которая обычно происходит после использования традиционных методов фильтрации, мы можем наблюдать огромное усиление сигнала для определенных диапазонов параметров фильтра NeuNN. Такое поведение можно объяснить, рассматривая NeuNN в этом диапазоне параметров как пространственно-временную версию оператора расширения, используемого в традиционной обработке изображений (Gonzalez and Woods, 2008).Из рисунка 5В видно, что шум, остающийся после фильтрации, также изменяется так же, как и сигнал, остающийся как при (α/ w ), так и (λ/ w ). Поскольку цель этой фильтрации состоит в том, чтобы поддерживать как можно более низкий уровень шума без слишком большого ущерба для сигнала, у нас есть окно пространства параметров, где (α/ w ) и (λ/ w ) могут быть настроен. Из рисунка 5C видно, что отношение сигнал/шум (SNR) увеличивается как с увеличением (α/ w ), так и с увеличением (λ/ w ).Выбор параметров фильтра не может зависеть только от высокого отношения сигнал/шум (обусловленного уменьшением шума); оставшийся сигнал и оставшийся шум необходимо рассматривать в сочетании с требованиями следующих этапов обработки (отслеживание — предпочтение отдается как можно более низкому уровню шума, а классификация — предпочтение отдается большому количеству сигнала). Мы выбрали два набора параметров: (1) (α/ w ) = 2 и (λ/ w ) = 0,33 и (2) (α/ w ) = 2,5 и (λ/ w ) = 2,5. ) = 0.583, где первый набор приводит к более высокому значению PSR ^f , чем фильтр NNb (из-за поведения, подобного расширению, описанному ранее), в то время как второй набор приводит к аналогичному PSR ^f , как фильтр NNb. Результаты в статье приводятся для набора параметров 1 по умолчанию, в то время как мы специально указываем, когда используется набор параметров 2.

6.2. Качественное сравнение обоих подходов к фильтрации

На рис. 6 огнеупорный слой снижает высокочастотный локализованный во времени шум, а слой 2 устраняет пространственно-распространенный шум.NeuNN также сохраняет больше сигнальных событий, чем фильтр NNb. Мы можем заметить, что огнеупорный слой значительно уменьшает пиксель высокочастотного шума в желтом цвете. Мы также можем заметить отсутствие активности из-за окклюзии объектов, и есть небольшая область мертвых пикселей (около 8–10 пикселей) ближе к справа от кадра, и активность невозможно удалить обоими фильтрами.

Рисунок 6 . Сравнение средней частоты всплесков с цветовой кодировкой (событий/с) для каждого пикселя для всех 304 × 240 пикселей, объединяющих все образцы файлов для (A) исходных данных; (B) после слоя 1 рефрактерный период 5 мс; (C) после огнеупорного фильтра слоя 1 и фильтра NNb слоя 2 на программном обеспечении; и (D) после огнеупорного фильтра слоя 1 с фильтром NeuNN слоя 2 на TrueNorth.

Рисунок 7 показывает, что NeuNN сохраняет гораздо больше сигнальных событий, сохраняя при этом немного больше шума. Преимущества NeuNN наиболее очевидны для медленно движущихся объектов, таких как пешеходы, где фильтр NNb удаляет почти все сигнальные события. Мы можем визуально убедиться, что в трекере больше событий для всех классов объектов сцены по скриншотам фильтра NeuNN справа по сравнению с фильтром NNb слева. Медленно движущиеся пешеходы являются наименее эффективным классом с точки зрения удержания сигнала, и они едва видны на фильтре NNb, что затрудняет их обнаружение и классификацию.Однако их активность видна на фильтре NeuNN. Шумовых событий за пределами трекера после фильтрации с использованием фильтра NeuNN немного больше, чем с фильтром NNb, когда активность обратного шума очень высока.

Рисунок 7 . Сравнение фильтра NNb на программном обеспечении (слева) с фильтром NeuNN на TrueNorth (справа) с использованием тех же экземпляров времени и тех же файлов, что и на рисунке 1B.

6.3. Количественное сравнение подходов к фильтрации с использованием показателей 90 060

Затем мы количественно оцениваем преимущества фильтра NeuNN по сравнению с фильтром NNb, используя метрики, описанные ранее.Результаты представлены на рисунке 8. Из рисунка 8А видно, что сигнал, остающийся после фильтрации с использованием фильтра NeuNN, значительно выше (~3X) по сравнению с фильтрацией NNb. NeuNN также способна воспроизвести отсутствующую активность по соседству, на что не способен ни один из традиционных фильтров. Рисунок 8B показывает, что остаточный шум немного выше (~ 2,5X), когда фоновый шум значительно увеличивается в конце ночи. Наконец, на рисунке 8C показано SNR до и после фильтрации.Соотношение SNR до и после фильтрации сравнивается для двух методов фильтрации, и SNR (в дБ) значительно выше (на 14,75–29,3 дБ) для фильтрации с использованием NeuNN на TrueNorth из-за сохранения сигнала после использования нейронной сети. фильтр на основе.

Рисунок 8 . Сравнение всех показателей фильтра NNb и фильтра NeuNN по отношению к каждому файлу выборки в разное время записи, представляющее различные характеристики фонового шума.

Рефрактерный период 5 мс используется для фильтра первого слоя, и сравниваются характеристики фильтрации для фильтра NNb в программном обеспечении и фильтра NeuNN в TrueNorth.Во всех случаях NeuNN генерирует более чем в 5 раз больше событий по сравнению с фильтром NNb для всех классов объектов, движущихся в сцене. Из рисунка 9 видно, что потери сигнала для фильтра NNb значительны для всех объектов (около 80%). Однако фильтр NeuNN генерирует дополнительные сигнальные события в случае быстро движущихся объектов (всех, кроме пешеходов) по сравнению с фильтром NNb. Это значительное преимущество NeuNN на TrueNorth по сравнению с фильтром NNb. Хотя медленно движущиеся люди с наименьшей частотой всплесков на пиксель в 52 импульса в секунду (в среднем по всем видео) страдают больше всего по сравнению с другими объектами, использующими оба подхода, потеря сигнала составляет всего около 30% с фильтром NeuNN по сравнению с 83 % с фильтром NNb. Это упрощает отслеживание и классификацию пешеходов с помощью фильтра NeuNN на более поздних этапах обработки. Наконец, мы видим, что оставшийся сигнал является самым высоким для велосипедов в обоих подходах. Причина этого в том, что велосипеды — это компактные и быстро движущиеся объекты с самой высокой частотой всплесков на пиксель — 142 всплеска в секунду (усреднено по всем видео). Другие быстро движущиеся объекты, такие как автобусы, имеют области низкой контрастности (например, стеклянные окна), которые не генерируют события, что делает их пространственную плотность событий низкой (приблизительная частота всплесков на пиксель 95 всплесков в секунду, усредненная по всем видео).

Рисунок 9 . Средний процент оставшихся сигнальных событий по сравнению с исходными данными для каждого класса после двухуровневой фильтрации с использованием всех выборок в таблице 1.

6.4. Обсуждение

Мы продемонстрировали новый алгоритм фильтрации шума для формирователей изображения на основе событий и показали его реализацию на TrueNorth. Есть несколько важных моментов, которые следует отметить в отношении предлагаемого нами метода. Во-первых, следует отметить, что, поскольку TrueNorth обрабатывает данные с миллисекундным тактом, мы теряем исходное микросекундное разрешение событий, поступающих от датчика.Однако для нашего приложения отслеживания и классификации объектов при мониторинге или наблюдении за дорожным движением это приемлемо, и временное разрешение в микросекундах не требуется.

Во-вторых, отклик прямоугольного фотодиода, такого как в ATIS, будет разным для горизонтально и вертикально движущихся контуров (Clady et al., 2017). Однако для рассматриваемых нами приложений мониторинга и наблюдения за дорожным движением ориентация камеры будет фиксированной, и мы представили результаты для этой ориентации.Для изменения ориентации наш метод фильтрации по-прежнему будет работать, однако точное усиление в SNR ^f может отличаться.

В-третьих, мы ожидаем, что эффект от добавления большего количества событий в областях с сигнальными событиями (пространственно-временное расширение) будет полезен при отслеживании в шумных условиях. Однако эта фильтрация может исказить информацию о форме объекта. В этом случае мы предлагаем архитектуру с двумя параллельными путями обработки: необработанный сигнал (или слегка отфильтрованный) поступает в классификатор по одному пути, а по другому пути у нас есть фильтр NeuNN, за которым следует трекер.Трекер информирует классификатор о том, на каком пространственном местоположении сосредоточиться для классификации объектов. Таким образом, классификатор получает доступ к необработанной форме объекта, а также к точному местоположению. Кроме того, для приложений, в которых добавление событий нежелательно, мы можем использовать другие параметры, такие как набор параметров 2, описанный ранее, который имеет аналог PSR ^f в качестве фильтра NNb. Количественно средние значения PSR ^f , PNR ^f и SNR ^{f 8 фильтра равны 2.bNNN 8 8 .54, 0,18 и ~20 дБ соответственно, а для фильтра NeuNN с набором параметров 2 — 24,04, 0,09 и 29 дБ соответственно. Это показывает, что даже когда NeuNN уменьшает сигнал, подобный уровням фильтра NNb, он может давать лучшее SNR из-за более сильного ослабления шума. Для справки, средние значения PSR f , PNR f и SNR f 8 909 установлены для параметра 1 NN 2,11 и 28 дБ соответственно. Хотя этот параметр может уменьшить эффект расширения, он не может гарантировать полное устранение этого явления, и в наших предполагаемых приложениях это не является серьезной проблемой. Однако в таких приложениях, как стереовидение на основе событий или вычисление оптических потоков на основе событий (которые в основном основаны на небольших локальных пространственно-временных окрестностях и точной синхронизации), они могут иметь значительный локальный эффект.}

7. Заключение и будущая работа

В этой работе мы представили новый подход к фильтрации шума на основе нейронной сети (NeuNN) и сравнили его с обычно используемым фильтром шума ближайшего соседа (NNb) для датчиков изображения на основе событий. Мы также описали, как мы можем эффективно сопоставить алгоритм фильтра NeuNN с архитектурой TrueNorth. Хотя используемый фильтр доступен для реализации на платформе TrueNorth, его можно адаптировать к любому другому нейроморфному оборудованию на основе нейронных сетей для фильтрации шума от датчиков, основанных на событиях. Мы показали, что предложенный фильтр NeuNN способен генерировать новые события, которые могут быть связаны с сигналом, в то время как выходные события традиционных фильтров являются строго подмножеством входных событий.Этот подход приводит к гораздо более высокому удержанию сигнала для NeuNN, а также приводит к более высокому SNR для изображений, отфильтрованных NeuNN.

Мы использовали ручную аннотацию информации для анализа метрик. В будущем мы интегрируем трекер и классификатор после фильтра и оценим производительность алгоритма фильтрации на основе производительности трекера и классификатора. Наконец, в текущем исследовании характеристики фонового шума изменяются в зависимости от времени записи. Когда шум в окружающей среде меняется, настройка параметров нейронов для задачи фильтрации в различных условиях шума становится более сложной задачей.Для повышения эффективности фильтрации шума можно ввести механизм обучения для обновления параметров на основе характеристик шума, и необходимо изучить возможность включения такого механизма.

Общее количество ядер, используемых в этом двухуровневом подходе к фильтрации, довольно велико и быстро увеличивается с размером фильтра и изображения. Один из способов уменьшить количество ядер — объединить обе операции фильтрации в один слой. В этом методе нейроны в фильтре слоя 2 могут быть сброшены до низкого значения ниже порога и могут медленно восстанавливаться до потенциала покоя через утечку.Время, необходимое нейрону для восстановления своего потенциала покоя, действует как рефрактерный период. Этот метод подобен относительному рефрактерному периоду (Gerstner and Kistler, 2002), потому что нейрон все еще может запустить спайк в этот период, если он получает большое количество входных спайков, тогда как предлагаемый нами метод подобен абсолютному рефрактерному периоду. Однако у этого метода есть проблема, заключающаяся в том, что нейроны в слое 2 в целом становятся менее возбудимыми и не генерируют выходные события, даже если входные данные поступают от окружающих пикселей в течение этого рефрактерного периода.Мы обнаружили, что процент сигнала, который остается после использования этого подхода, меньше, чем предлагаемое нами решение. Другая возможность состоит в том, чтобы использовать два слоя, но вместо использования трех нейронов на пиксель в слое 1 для рефрактерного периода используйте один нейрон на пиксель, используя метод относительной рефрактерности, описанный ранее. Тем не менее, это все еще страдает от непостоянного рефрактерного периода из-за переменного количества спайков, которые нейрон получает в течение рефрактерного периода.

Вклад авторов

VP провел эксперименты и моделирование нейронных сетей на TrueNorth.Компания GO разработала установку ATIS и собрала данные из ATIS. Все авторы рецензировали рукопись, в то время как AB руководил этим проектом.

Заявление о конфликте интересов

Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могли бы быть истолкованы как потенциальный конфликт интересов.

Благодарности

Подтверждено финансирование от ST Electronics (Info-Comm Systems) Pte Ltd для проведения исследования в рамках гранта Neuprowler.

Дополнительный материал

Дополнительный материал к этой статье можно найти в Интернете по адресу: https://www.frontiersin.org/articles/10.3389/fnins.2018.00118/full#supplementary-material

.

Ссылки

Амир, А., Датта, П., Риск, В.П., Кэссиди, А.С., Кусниц, Дж.А., Эссер, С.К., и соавт. (2013). «Парадигма программирования когнитивных вычислений: язык Corelet для создания сетей нейросинаптических ядер», в материалах Международной совместной конференции по нейронным сетям (Даллас, Техас).doi: 10.1109/IJCNN.2013.6707078

Полнотекстовая перекрестная ссылка | Академия Google

Амир А. , Таба Б., Берг Д., Мелано Т., Маккинстри Дж., Нолфо С.Д. и др. (2017). «Система распознавания жестов с низким энергопотреблением, полностью основанная на событиях», в IEEE Computer Society Conference on Computer Vision and Pattern Recognition (Гонолулу, Гавайи), 7243. doi: 10.1109/CVPR.2017.781

Полнотекстовая перекрестная ссылка | Академия Google

Бенджамин Б.В., Гао П., Маккуинн Э., Чоудхари С., Chandrasekaran, A.R., Bussat, J.M., et al. (2014). Neurogrid: смешанная аналогово-цифровая многочиповая система для крупномасштабного нейронного моделирования. Проц. IEEE 102, 699–716. doi: 10.1109/JPROC.2014.2313565

Полнотекстовая перекрестная ссылка | Академия Google

Бернер Р., Брандли К., Ян М., Лю С.-К. и Дельбрюк Т. (2013). «Датчик зрения с разреженным выходом и задержкой 240×180, 10 мВт, 12 мкс для мобильных приложений», в VLSI Circuits (VLSIC), 2013 Symposium (Киото), 186–187.

Академия Google

Кэссиди А. С., Меролла П., Артур Дж.В., Эссер С.К., Джексон Б., Альварес-Икаса Р. и др. (2013). «Основной блок когнитивных вычислений: универсальная и эффективная цифровая модель нейронов для нейросинаптических ядер», в материалах Международной совместной конференции по нейронным сетям (Даллас, Техас). doi: 10.1109/IJCNN.2013.6707077

Полнотекстовая перекрестная ссылка | Академия Google

Чен Ю., Яо Э. и Басу А. (2016). 128-канальный нейронный декодер на основе машинного обучения для интерфейсов мозг-машина. IEEE Trans. Биомед. Цирк. Сист. 10, 679–692. doi: 10.1109/TBCAS.2015.2483618

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Чех, Д., и Орчард, Г. (2016). «Оценка фильтрации шума для датчиков изображения с асинхронным обнаружением изменений на основе событий», в материалах Международной конференции IEEE/RAS-EMBS по биомедицинской робототехнике и биомехатронике (Сингапур). doi: 10.1109/BIOROB.2016.7523452

Полнотекстовая перекрестная ссылка | Академия Google

Дельбрюк, Т. и Ланг, М. (2013). Роботизированный вратарь с временем реакции 3 мс при загрузке ЦП 4% с использованием датчика динамического зрения на основе событий. Фронт. Неврологи. 7:223. doi: 10.3389/fnins.2013.00223

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Домингес-Моралес, М., Хименес-Фернандес, А., Пас, Р., Лопес-Торрес, М.Р., Сересуэла-Эскудеро, Э., Линарес-Барранко, А., и другие. (2011). «Подход к оценке расстояния со стереозрением с использованием представления адреса-события. Обработка нейронной информации», Международная конференция по обработке нейронной информации (Берлин; Гейдельберг: Springer), Vol.7062, 190–198. дои: 10.1007/978-3-642-24955-6_23

Полнотекстовая перекрестная ссылка

Эссер, С.К., Меролла, П.А., Артур, Дж.В., Кэссиди, А.С., Аппусвами, Р., Андреопулос, А., и соавт. (2016). Сверточные сети для быстрых и энергоэффективных нейроморфных вычислений. По умолчанию Доп. Рез. прож. Агентство 113, 1–7. doi: 10.1073/pnas.1604850113

Реферат PubMed | Полный текст перекрестной ссылки

Герстнер В. и Кистлер В. М. (2002). Модели нейронов с шипами: отдельные нейроны, популяции, пластичность. Кембридж: Издательство Кембриджского университета.

Гонсалес, Р. К., и Вудс, Р. Э. (2008). Цифровая обработка изображений . Река Аппер-Сэдл, Нью-Джерси: Прентис-холл.

Академия Google

Иенг, С. Х., Пош, К., и Беносман, Р. (2014). Асинхронная нейроморфная фильтрация изображений, управляемая событиями. Проц. IEEE 102, 1485–1499. doi: 10.1109/JPROC.2014.2347355

Полнотекстовая перекрестная ссылка | Академия Google

Леньеро-Бардалло, Х. А., Серрано-Готарредона, Т.и Линарес-Барранко, Б. (2011). Асинхронный бескадровый датчик динамического зрения, управляемый событиями, с задержкой 3,6 мкс. IEEE J. Solid State Circ. 46, 1443–1455. doi: 10.1109/JSSC.2011.2118490

Полнотекстовая перекрестная ссылка | Академия Google

Лихтштайнер, П. , Пош, К., и Дельбрюк, Т. (2008). Асинхронный временной контрастный датчик зрения с задержкой 128X128, 120 дБ, 15 мкс. IEEE J. Solid State Circ. 43, 566–576. doi: 10.1109/JSSC.2007.914337

Полнотекстовая перекрестная ссылка | Академия Google

Линарес-Барранко, А., Гомес-Родригес Ф., Вильянуэва В., Лонгинотти Л. и Дельбрюк Т. (2015). «Среда фильтрации и отслеживания событий на основе FPGA USB3.0 для датчиков динамического зрения», Международный симпозиум IEEE по схемам и системам (Лиссабон). doi: 10.1109/ISCAS.2015.7169172

Полнотекстовая перекрестная ссылка | Академия Google

Литценбергер М., Белбахир А. Н., Донат Н., Грич Г., Гарн Х., Кон Б. и соавт. (2006). «Оценка скорости транспортного средства на основе асинхронных данных от оптического датчика кремниевой сетчатки», в IEEE Intelligent Transportation Systems Conference (Торонто, Онтарио), 653–658.doi: 10.1109/ITSC.2006.1706816

Полнотекстовая перекрестная ссылка | Академия Google

Лю Х. , Брандли К., Ли К., Лю С. К. и Дельбрюк Т. (2015). «Проектирование пространственно-временного корреляционного фильтра для датчиков, основанных на событиях», в материалах Международного симпозиума IEEE по схемам и системам (Лиссабон). doi: 10.1109/ISCAS.2015.7168735

Полнотекстовая перекрестная ссылка | Академия Google

Маховальд, М., и Мид, К. (1991). Силиконовая сетчатка. науч. Являюсь. 256, 76–82.

Академия Google

Меролла П.А., Артур Дж.В., Альварес-иказа Р., Кэссиди А.С., Савада Дж., Акопян Ф. и др. (2014). Интегральная схема с миллионом импульсных нейронов с масштабируемой коммуникационной сетью и интерфейсом. Научный журнал. Орг 345, 668–673. doi: 10.1126/science.1254642

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Орчард, Г., и Этьен-Каммингс, Р. (2015). Биоинспирированная визуальная оценка движения. Вычисл. Вис. Распознавание образов проц. IEEE 102, 1520–1536. doi: 10. 1109/JPROC.2014.2346763

Полнотекстовая перекрестная ссылка

Орчард Г., Лагорс К., Пош К., Фурбер С. Б., Беносман Р. и Галлуппи Ф. (2015). «Распознавание объектов нейронной сети, управляемое событиями, в режиме реального времени на платформе SpiNNaker», в материалах Международного симпозиума IEEE по схемам и системам (Лиссабон). doi: 10.1109/ISCAS.2015.7169171

Полнотекстовая перекрестная ссылка | Академия Google

Пайнкрас, Э., Plana, L.A., Garside, J., Temple, S., Galluppi, F., Patterson, C., et al. (2013). SpiNNaker: 18-ядерная система на кристалле мощностью 1 Вт для моделирования массивно-параллельных нейронных сетей. IEEE J. Solid State Circ. 48, 1943–1953 гг. doi: 10.1109/JSSC.2013.2259038

Полнотекстовая перекрестная ссылка | Академия Google

Пош, К., Матолин, Д., и Вольгенаннт, Р. (2011). Бескадровый ШИМ-датчик изображения QVGA с динамическим диапазоном 143 дБ, сжатием видео без потерь на уровне пикселей и CDS во временной области. IEEE Дж.Твердотельный Цирк. 46, 259–275. doi: 10.1109/JSSC.2010.2085952

Полнотекстовая перекрестная ссылка | Академия Google

Пош, К., Серрано-Готарредона, Т., Линарес-Барранко, Б., и Дельбрюк, Т. (2014). Ретиноморфные датчики зрения, основанные на событиях: биоинспирированные камеры с пиковым выходным сигналом. Проц. IEEE 102, 1470–1484. doi: 10.1109/JPROC.2014.2346153

Полнотекстовая перекрестная ссылка | Академия Google

Рогистер П., Беносман Р., Иенг С.-Х., Лихштайнер П. и Дельбрюк Т.(2012). Асинхронное бинокулярное стереосопоставление на основе событий. IEEE Trans. Нейронная сеть. Учиться. Сист. 23, 347–353. doi: 10.1109/TNNLS.2011.2180025

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Валейрас, Д. Р., Орчард, Г., Иенг, С. Х., и Беносман, Р. Б. (2016). Трехмерная оценка позы на основе нейроморфных событий. Фронт. Неврологи. 9:522. doi: 10.3389/fnins.2015.00522

Полнотекстовая перекрестная ссылка | Академия Google

[PDF] Шум на изображении: методы обнаружения, измерения и удаления

ПОКАЗАНЫ 1-10 ИЗ 126 ССЫЛОК

СОРТИРОВАТЬ ПОСоответствиеНаиболее влиятельные документыНедавность

Быстрая и надежная оценка шума изображения с использованием гибридного подхода

В этой работе предлагается быстрая и надежная оценка шума изображения с использованием гибридного подхода

метод оценки шума изображения, который, как предполагается, загрязнен аддитивным процессом белого гауссовского шума, и демонстрирует, что предложенный метод хорошо работает для множества изображений в широком диапазоне дисперсий шума. Expand

Оценка уровня шума изображения с помощью анализа главных компонент

В этой статье показано, что дисперсию шума можно оценить как наименьшее собственное значение ковариационной матрицы блока изображения, что по крайней мере в 15 раз быстрее, чем методы с аналогичной точностью, и по крайней мере в два раза точнее других методов. Expand

• Просмотреть 3 выдержки, справочная информация

Оценка уровня шума на одном изображении для слепого шумоподавления

Алгоритм оценки уровня шума на основе патчей, который выбирает фрагменты низкого ранга без высокочастотных компонентов из одного шумового изображения и оценивает уровень шума на основе градиентов патчей и предлагается их статистика.Expand

• Посмотреть 2 выдержки, справочные методы и фон

Быстрая и надежная оценка структурно-ориентированного видео шума

Новая мера для определения однородных блоков и новый анализатор структуры для отбраковки блоков со структурой, основанной на высокочастотных операторах и специальных масках для углов стабилизации предложена оценка однородности.

No related posts.