Hesaplayan silikon görüntü sensörü
Her sürücünün bildiği gibi, kazalar göz açıp kapayıncaya kadar gerçekleşebilir — bu nedenle otonom araçlarda kamera sistemi söz konusu olduğunda, işlem süresi çok önemlidir. Sistemin bir görüntüyü yakalaması ve verileri görüntü işleme için mikroişlemciye iletmesi için geçen süre, bir engelden kaçınmakla büyük bir kazaya girmek arasındaki fark anlamına gelebilir.
Ayrı mikroişlemci yerine görüntü sensörünün kendisi tarafından ham verilerden önemli özelliklerin çıkarıldığı sensör içi görüntü işleme, görsel işlemeyi hızlandırabilir. Bugüne kadar, sensör içi işlemenin gösterimleri, en azından şimdilik ticari sistemlere dahil edilmesi zor olan, ortaya çıkan araştırma materyalleriyle sınırlıydı.
Şimdi, araştırmacılar, Harvard Üniversitesi tamamlayıcı metal oksit yarı iletken görüntü sensörleri olarak bilinen ticari silikon görüntüleme sensörü çiplerine entegre edilebilecek ilk sensör içi işlemciyi geliştirdi. Bu çipler, görsel bilgileri yakalaması gereken akıllı telefonlar da dahil olmak üzere neredeyse tüm ticari cihazlarda kullanılmaktadır.
Çalışma kısmen tarafından desteklenmiştir. ABD Ulusal Bilim Vakfı ve yayınlanıyor Doğa Elektroniği.
NSF’nin Matematik ve Fizik Bilimleri Müdürlüğü’nde program direktörü Tomasz Durakiewicz, “Bu çalışma, en son araştırmaların uygulamaya dönüştürülmesinin mükemmel bir örneğidir” dedi. “Sensör içi programlanabilir görüntü işleme, maliyet ve zamandan tasarruf sağlar ve makinelerin görsel görüntülerle etkileşimi için gereken bilgi işlem gücünü sağlar.”
Makalenin kıdemli yazarı Harvard’dan Donhee Ham, “Çalışmamız, sensör içi hesaplamayı çok çeşitli gerçek dünya uygulamalarına hızla getirmek için ana akım yarı iletken elektronik endüstrisini kullanabilir.”
Ham ve meslektaşları bir silikon fotodiyot dizisi geliştirdiler. Ticari olarak temin edilebilen görüntü algılama çipleri ayrıca görüntüleri yakalamak için bir silikon fotodiyot dizisine sahiptir, ancak ekibin fotodiyotları elektrostatik olarak katkılanmıştır, yani bireysel fotodiyotların veya piksellerin gelen ışığa duyarlılığı voltajlarla ayarlanabilir. Birden fazla voltaj ayarlı fotodiyodu birbirine bağlayan bir dizi, çoğaltmanın analog bir versiyonunu ve birçok görüntü işleme boru hattının merkezindeki ek işlemleri gerçekleştirebilir ve görüntü yakalanır yakalanmaz ilgili görsel bilgileri çıkarabilir.
Makalenin ortak yazarlarından Houk Jang, “Bu dinamik fotodiyotlar, görüntüleri yakalandıkça eşzamanlı olarak filtreleyerek, görüntü işlemenin ilk aşamasının mikroişlemciden sensörün kendisine taşınmasına izin veriyor” dedi.
Silikon fotodiyot dizisi, çeşitli uygulamalar için gereksiz ayrıntıları veya gürültüyü gidermek üzere farklı görüntü filtrelerine programlanabilir. Örneğin otonom bir araçtaki bir görüntüleme sistemi, şerit işaretlerini izlemek için yüksek geçişli bir filtre gerektirebilirken, diğer uygulamalar gürültüyü azaltmak için bulanıklaştıran bir filtre gerektirebilir.
“Geleceğe baktığımızda, bu silikon tabanlı sensör içi işlemcinin yalnızca yapay görme uygulamalarında değil, aynı zamanda erken bilgi işlemenin sensör ve bilgi işlem birimlerinin birlikte konumlandırılmasına izin verdiği biyo-ilhamlı uygulamalarda da kullanılacağını öngörüyoruz. Beyin,” dedi makalenin ortak yazarlarından Henry Hinton.
Daha sonra ekip, fotodiyotların yoğunluğunu artırmayı ve bunları silikon entegre devrelerle entegre etmeyi hedefliyor.
“Ticari silikon görüntü sensörlerindeki standart programlanamayan pikselleri burada geliştirilen programlanabilir piksellerle değiştirerek, görüntüleme cihazları gereksiz verileri akıllı bir şekilde kesebilir, böylece [increasing efficiency] Yeni nesil duyusal uygulamaların taleplerini karşılamak için hem enerji hem de bant genişliğinde” dedi Jang.