Real-time skin detection and smoothing on CPU, single header C-lib taking under 59kb. 60fps on iPhone X. Tested under different light conditions. Library also includes some post-processed skin filtering code and has future potential to scale output quality dramatically (while staying on cpu) with intelligent masking system and proper production tuning, which were not finished for this demo.

Apple’s Arkit doesn’t allow modify access to yuv frame buffer, so had to waste cpu time displaying the image using the built-in iOS way. So there is a performance hit, total cpu load can be decreased by ~30% tuning high-level bridge using Metal. 

Arkit also captures 720p video and no higher quality option is available, just in case.

Fully cross platform (as required by the task) unlike OpenGL ES or Metal solutions that are platform specific

В приложении представлена полностью ручная обработка изображения, без использования внешнего или системного кода. Реализовано наложение билатерального фильтра поверх всего изображения. Приложение работает на CPU без использования GPU.

Размер библиотеки < 200 KB.

Приложение автоматически смягчает тон кожи и кожные дефекты без потери производительности на современных устройствах. Из-за вылетов приложения при запуске мы не смогли протестировать работу на менее производительных телефонах (iPhone 6S Plus iOS 15.3).

В ходе тестирования приложения и моделирования различных ситуаций реального мира были выявлены следующие недоработки как алгоритма, так и приложения:
– Преобразованный видеопоток искажен, пропорции видео нарушены;
– При движении камеры по перспективе от лица и назад, на преобразованном видеопотоке заметны дрожания отдельных участков видео. Особенно это заметно в области щёк пользователя.