Research project

W znanych z życia codziennego układach obrazujących (kamery, aparaty fotograficzne, itp.) obraz rejestrowany jest za pośrednictwem wysokiej rozdzielczości matryc elementów światłoczułych. Rozwiązanie takie dobrze sprawdza się w większości przypadków, pozwalając na niemal natychmiastowe zarejestrowanie całego obrazu. Jednak w niektórych zastosowaniach, np. gdy obrazowanie odbywa się z wykorzystaniem bardziej egzotycznego promieniowania niż światło widzialne (np. fale terahercowe), koszt takich układów obrazujących jest bardzo wysoki. Stało się to inspiracją do stworzenia układów obrazujących opartych na innej zasadzie pomiaru, używających do rejestracji obrazu wyłącznie pojedynczego elementu światłoczułego. Aby móc zarejestrować obraz przy pomocy tak prostego układu, konieczne jest wykonanie wielu pomiarów, z których każdy dostarczy pewnej częściowej informacji o obrazie. Uzyskuje się to poprzez zastosowanie metody pomiaru polegającej na złożeniu obrazu fotografowanego przedmiotu z sekwencją innych obrazów, pełniących rolę funkcji próbkujących, oraz pomiar jasności tak powstałych obrazów wynikowych. Funkcje próbkujące są wyświetlane z dużą częstotliwością np. za pomocą matrycy sterowanych elektronicznie mikro-zwierciadeł.
Odpowiedni wybór funkcji próbkujących ma kluczowe znaczenie dla liczby niezbędnych do wykonania pomiarów, która w szczególności może być znacząco mniejsza od liczby pikseli w obrazie. Odtworzenie tak zmierzonego obrazu nie jest łatwym zadaniem, gdyż wymaga rozwiązania układu równań, w którym liczba równań (równa liczbie wykonanych pomiarów) jest znacząco mniejsza od liczby niewiadomych (pikseli w obrazie). Teoria oszczędnego próbkowania dostarcza metody obliczeniowe pozwalające na rekonstrukcję obrazów, oparte na założeniu o ich rzadkości, czyli właściwości, dzięki której obrazy można skompresować (analogicznie jak dzieje się to w znanym formacie plików graficznych JPG). Sprawa komplikuje się jeszcze bardziej, kiedy przedmiotem obrazowania nie są nieruchome obrazy, lecz filmy, w których obiekty znajdują się w ciągłym ruchu. Metody rekonstrukcji znane z teorii oszczędnego próbkowania źle radzą sobie z odtworzeniem obrazu, który podczas pomiaru uległ zaburzeniu. Większość z nich nie jest też dostatecznie szybka, aby pozwolić na rekonstrukcję obrazu w czasie rzeczywistym.
W niniejszym projekcie do rekonstrukcji obrazów wykorzystane zostaną sztuczne sieci neuronowe, czyli złożone modele matematyczne, które poprzez analizowanie dużej liczby przykładów są w stanie zdobywać nowe umiejętności. Sieci neuronowe są uniwersalnym narzędziem aproksymacji i mogą realizować różne zadania. Bardzo dobrze radzą sobie np. z interpretacją i przetwarzaniem obrazów, czy interpretacją mowy. Naszym celem jest wykorzystanie ich potencjału do poprawy jakości rekonstrukcji obrazu wideo rejestrowanego za pomocą jednopikselowego układu obrazującego. Takie rozwiązania będą niezwykle cenne dla potrzeb rozwoju obrazowania wideo np. w zakresie terahercowym, czy dalekiej podczerwieni. Planujemy wykorzystać rzadkość obrazu wideo nie tylko w przestrzeni, ale również w czasie, aby lepiej odwzorowywać ruch filmowanych obiektów.
Co więcej, systemy wizyjne często realizują również inne zadania niż tylko wyświetlenie obrazu, np. wykrycie i zidentyfikowanie znaku drogowego czy zlokalizowanie na zdjęciu kota. Obecnie takie zadania bardzo skutecznie wykonywane są przez sztuczne sieci neuronowe. Jednym z celów niniejszego projektu jest zbadanie możliwości realizacji podobnych zadań w jednopikselowych układach obrazujących bez konieczności pośredniego rekonstruowania obrazu, a więc działając bezpośrednio na danych zmierzonych pojedynczym detektorem. Takie rozwiązanie usprawni działanie systemów mających za zadanie analizę obrazu w czasie rzeczywistym.