Чтобы контролировать окружающую среду и ориентироваться в реальном мире, робот должен иметь возможность получать изображения и измерения окружающей среды в различных условиях фонового освещения. В последние годы исследователи и инженеры по всему миру работают над разработкой все более и более совершенных датчиков для интеграции в роботов, системы наблюдения или другие устройства, которые могут чувствовать их окружение.
По данным Memes Consulting, исследователи из Гонконгского политехнического университета, Пекинского университета, Университета Йонсей и Университета Фудань недавно разработали новый тип бионического датчика зрения, который использует механизм, который искусственно имитирует функцию сетчатки и может использоваться в различных данных, собранных в условиях освещения. Этот бионический датчик зрения основан на фототранзисторах, изготовленных из дисульфида молибдена.
Фото матрицы датчиков биомиметического зрения (слева); схематическая структура блока датчиков зрения и изображение оптического микроскопа (справа)
«Наша исследовательская группа начала работу над оптоэлектронной памятью пять лет назад», — сказал Ян Чай, один из исследователей, разработавших датчик зрения. «Это новое устройство может выводить светозависимые и зависящие от истории сигналы, обеспечивая интеграцию изображений. , Слабое накопление сигналов, спектральный анализ и другие сложные функции обработки изображений, многофункциональная интеграция зондирования, хранения данных и обработки данных в одном устройстве».
В 2018 году Ян Чай и его коллеги опубликовали первую статью по оптоэлектронной памяти, в которой они представили резистивное коммутационное запоминающее устройство, которое может выполнять световые и логические операции. Год спустя команда представила новый тип фоторезистентной памяти с произвольным доступом с тремя различными функциями. В частности, новое устройство может ощущать окружающую среду, хранить информацию в памяти и выполнять нейроморфные визуальные операции предварительной обработки.
«Мы изучили концепции парадигм ближних и внутрисенсорных вычислений в 2020 году и опубликовали наши взгляды в этой области». Ян Чай продолжил: «Это новое исследование биомиметических датчиков зрения основано на наших усилиях в дополнение ко всем предыдущим усилиям».
Интенсивность окружающего естественного света варьируется в широких пределах, с общим диапазоном 280 дБ. Когда сетчатка человека воспринимает внешние световые сигналы, она регулирует световую чувствительность своих фоторецепторов (то есть стержней и колбочек) в соответствии с силой сигнала. Это в конечном итоге позволяет человеческому глазу постепенно адаптироваться к различным уровням освещения, позволяя ему ясно видеть как в темной, так и в яркой среде, способность, известная как «визуальная адаптация».
«Например, когда вы входите в темный кинотеатр из светлого зала, вы сначала почти ничего не видите, но через некоторое время в кинотеатре становится легче видеть вещи», — объясняет Ян Чай. «Это явление называется скотопической адаптацией. И наоборот, если вы перейдете из темного кинотеатра в солнечный на открытом воздухе, вы сначала почувствуете себя очень ослепленным, и требуется некоторое время, чтобы привыкнуть к тому, что происходит вокруг вас. Процесс, противоположный темной адаптации, называется фотопической адаптацией».
Основной целью недавней работы Ян Чая и его коллег является создание датчика зрения, вдохновленного структурой и функцией сетчатки человека. Для этого они сначала начали с изучения сетчатки человека, а затем попытались разработать стратегии восприятия, которые позволили бы им искусственно имитировать визуальные адаптации.
Современные датчики изображения, основанные на технологии CMOS, обычно имеют ограниченный динамический диапазон 70 дБ. Однако этот динамический диапазон намного уже, чем диапазон освещения естественных сцен (280 дБ).
«Чтобы достичь визуального восприятия в широком диапазоне интенсивности света, исследователи изучили использование контролируемых оптических диафрагм, жидких линз, регулируемого времени экспозиции и алгоритмов шумоподавления в постобработке», — сказал Ян Чай. «Однако эти методы часто требуют сложных аппаратных и программных ресурсов».
Темная и светлая адаптация матриц датчиков биомиметического зрения. а) Схема теста на адаптацию к темноте: распознавание изображений при слабом освещении с использованием массива размером 8 x 8 пикселей в темной среде. b) Принципиальная схема испытания на адаптацию к свету: распознавание изображений с высокой освещенностью с использованием массива размером 8 x 8 пикселей в яркой среде. с) процесс адаптации в темноте для выявления модели "8". d) процесс фотоадаптации для идентификации рисунка "8".
Оптоэлектронные устройства со светоадаптивным зрением и широким диапазоном зондирования на сенсорных терминалах могут иметь очень ценные применения. Например, они могут помочь улучшить производительность инструментов компьютерного зрения, снизить сложность аппаратного обеспечения, необходимого для создания роботов или других сенсорных систем, и повысить точность систем распознавания изображений.
Хотя другие исследовательские группы разработали оптоэлектронные устройства, которые могут адаптироваться к различным условиям освещения в прошлом. Однако большинство ранее продемонстрированных устройств могут только имитировать механизм световой адаптации сетчатки. Процесс темной адаптации до сих пор оказалось более трудным для моделирования.
«Еще предстоит пройти долгий путь, чтобы полностью воспроизвести функцию зрительной адаптации сетчатки», — объясняет Ян Чай. «Чтобы достичь этого, мы разработали датчик зрения на основе фототранзистора с использованием ультратонких полупроводников, которые могут Степень темной адаптации и адаптации света в одном и том же устройстве контролировалась путем подачи различных напряжений затвора. Таким образом, мы смоделировали фоторецепторы и горизонтальные клетки в сетчатке и успешно достигли диапазона зондирования 199 дБ. Устройства адаптивного зрения в биомиметических датчиках».
Искусственное моделирование фоторецепторов и горизонтальных клеток в сетчатке для визуальной адаптации (темная адаптация и световая адаптация)
Биомиметический датчик зрения, разработанный Ян Чаем и его коллегами, основан на фототранзисторах, изготовленных из ультратонкого полупроводникового материала, известного как дисульфид молибдена. Фототранзисторы, которые они использовали, имеют несколько состояний ловушки заряда, которые могут захватывать или высвобождать электроны в канале при различных напряжениях затвора.
В конечном счете, эти состояния позволяют исследователям динамически настраивать проводимость своих устройств. Это, в свою очередь, позволило им искусственно имитировать темные и светоадаптирующие механизмы сетчатки человека, тем самым расширяя диапазон восприятия их датчиком различных условий освещения.
«Наш бионический датчик зрения имеет несколько преимуществ и особенностей», — сказал Ян Чай. «Во-первых, функция визуальной адаптации реализована в одном устройстве, что значительно уменьшает занимаемую площадь. Во-вторых, на одном устройстве может быть реализовано несколько функций. , включая восприятие света, память и обработку. Наконец, адаптация темного и светлого света при различной интенсивности света может быть достигнута путем управления напряжением затвора».
Ян Чай и его коллеги оценили бионический датчик зрения в серии тестов и обнаружили, что он может эффективно имитировать функцию сетчатки человека, достигая замечательных результатов как в темной, так и в световой адаптации. Кроме того, он имеет значительно более высокий диапазон восприятия (199 дБ) по сравнению с ранее предложенными решениями.
«Наш датчик зрения может обогатить функции машинного зрения, снизить сложность аппаратного обеспечения и достичь высокой эффективности распознавания изображений, — сказал Ян Чай. — Все эти преимущества доступны в таких областях, как автономное вождение, распознавание лиц и промышленное производство в сложных условиях освещения. большие перспективы применения."
В будущих исследованиях ученые планируют еще больше улучшить производительность датчика зрения, а также использовать его для изготовления крупномасштабных систем, состоящих из сенсорных массивов. В идеале они хотят построить этот массив датчиков на гибкой или полусферической подложке, чтобы обеспечить более широкое поле зрения.
«Одной из областей, которая нуждается в улучшении, является время адаптации нашего датчика зрения, поскольку его все еще недостаточно для поддержки приложений машинного зрения». Ян Чай добавил: «Наша цель состоит в том, чтобы сократить время адаптации до микросекундного уровня. Кроме того, шкала массива датчиков зрения Также необходимы дальнейшие усовершенствования. Наша ближайшая цель по размеру массива превышает 100 x 100 пикселей. Наконец, гетерогенная интеграция датчиков зрения и постпроцессорных блоков, включая схемы управления на основе кремния, является очень важным шагом на пути к практическому применению».
GMKJ Technology глубоко вовлечена в здоровые и интеллектуальные источники света, предоставляя полный спектр продуктов и решений UVA UVB UVC LED, инфракрасных ИК-светодиодов VCSEL. Она имеет сотни качественных партнеров на внутреннем и внешнем рынках для совместного продвижения использования световых технологий для создания здоровой и умной жизни. .
