Augmented reality android application

Głównym celem pracy licencjacka jest stworzenie aplikacji w systemie Android, która będzie rozpoznawać przystanki MPK w Krakowie.Z tego powodu były testowane i oceniane możliwości wykorzystania API kamery, API OCR, API wizji komputerowej i API uczenia maszynowego.Spośród API kamery przetestowano: Camera API, Camera2 API i CameraKit. Pod uwagę brane były zdolności do wyświetlania obrazu na ekranie smartfona, kontrolowania zoomu i latarki oraz tworzenia zdjęć. W aplikacji została zaimplementowana Camera2 API, ponieważ z jej pomocą udało spełnić powyższe wymagania.W testach API OCR użyto bibliotek Tesseract i Mobile Vision. Do testowania obu bibliotek użyto tekst o długości 100 słów w języku polskim. W testach tych bibliotek celem było wyznaczenie skrajnych warunków (niekorzytny kąt, słaba rozdzielczość, kiepski oświetlenie, brak wyostrzenia), w których potrafiły odczytać tekst. W aplikacji zaimplementowano Mobile Vision, która najlepiej poradziła sobie w testach.Celem wizji komputerowej była poprawa jakości obrazu dla narzędzi OCR. Do testowania metod wizji komputerowej użyto bibliotekę OpenCV. Pod uwagę wzięto metody zmieniające kontrast, jasność, korekcję gamma, adaptacyjne progowanie, wyrównanie histogramowe oraz kilka filtrów.Owe metody testowano na obrazach dobrze oświetlonych, słabo oświetlonych z tekstem wyostrzonym i tekstem niewyostrzonym. Małą poprawę dawały metody zmieniające kontrast, jasność i korekcję gamma w obrazach ze słabym oświetleniem i wyostrzonym tekstem. W pozostałych przypadkach żadna metoda nie dawała poprawy. W aplikacji nie użyto żadnych metod wizji komputerowej.W ostatniej części przedstawiono zrzuty ekranu z działającej aplikacji.

The main goal of the bachelor's thesis is to create an application in Android, which will recognize MPK stops in Krakow. For this reason, the possibilities of using API camera, API OCR, API computer vision and API machine learning were tested and evaluated.Among API cameras were tested: Camera API, Camera2 API and CameraKit. The capabilities of displaying images on a smartphone screen, controlling zoom and flashlight and creating photos were taken into account. Camera2 API was implemented in the application, because with its help it managed to meet the above requirements.Tesseract and Mobile Vision libraries were used in OCR API tests. To test both libraries a text of 100 words in Polish was used. In the tests of these libraries the aim was to determine the extreme conditions (unfavorable angle, poor resolution, poor lighting, lack of sharpness) in which they could read the text. Mobile Vision was implemented in the application, which did the best in the tests.The aim of the computer vision was to improve the image quality for OCR tools. The OpenCV library was used to test the methods of computer vision. We took into account methods changing contrast, brightness, gamma correction, adaptive threshold, histogram compensation and several filters.These methods were tested on focused and unfocused images that were well lit, poorly lit. The methods changing contrast, brightness and gamma correction in images with low light and sharpened text resulted in a slight improvement. In other cases, none of the methods provided improvement. No methods of computer vision were used in the application.The last section shows screenshots from a running application.