Usb Video Class 및 공 검증 개발

기본 정보

• 기간 | 2023.06 ~ 2023.10
• 주 사용 기술 | Android, Kotlin, OpenCV, C++, C#

프로젝트

소개

버디엑스에서 새롭게 진행하는 Android External Usb Camera를 이용한 골프 게임 사업입니다. Unity에 연결할 수 있는 Android External Usb Camera 라이브러리를 제작할 수 있는지 검증 작업과 골프 공이 감지 경계에 들어왔을 때 출발 여부와 공 인지 여부를 검증할 수 있는지 진행한 프로젝트 입니다.

개발 관련

설명

• Android - Unity 플러그인 개발
  • Android에서 usb 외장 카메라를 이용하여 Unity에 60 fps로 전달하는 플러그인
  • AndroidUSBCamera 라이브러리를 커스텀하여 제작하였으나 Unity - Android 사이 리플렉션으로 인하여 프레임 손실 발생
  • Unity에서 직접 포인터를 전달하여 프레임 손실을 해결하는 오픈 소스를 찾아서 제공하여 프로젝트 종료
• OpenCV를 이용하여 영상처리
  • 160 * 240 사이즈 크기 안에 원이 존재하는지 여부와 원이 이동하는 지에 대한 이동 확인하는 내용 개발

🤔 어려움 & 도전해 본 것들

Android - Unity 플러그인 개발

• Android 환경에서 External USB Camera를 통해 취득한 frame을 실시간으로 Unity에 전달하는 라이브러리 개발이 필요했습니다. 조건은 1초에 60 Frame 전달이 필요했습니다.

<aside> 💡 먼저 Android 환경에서 External USB Camera가 작동하고 Image가 취득되는지 확인했습니다. 정보를 얻은 Repository는 Github에 존재하는 AndroidUSBCamera Repository를 이용하여 R&D를 진행하였습니다. 이 과정에서 Android 환경에서도 프레임을 얻어올 수 는 있지만 해상도에 따라서 PC 환경에서 보장된 60 Frame이 48 ~ 50 Frame 사이로 고정될 수 있다는 것을 알게 되었습니다.

</aside>

48 ~ 50 Frame 이라도 Unity로 Callback 시켜야 한다

• 위 과정에서 얻어낸 48 ~ 50 Frame을 실시간으로 Unity로 옮기는 플러그인 개발을 시작했습니다.

<aside> 💡 이 과정에서 Unity로 Frame을 전달하니 5 ~ 10 사이의 프레임이 유지되는 것을 찾아내게 되었고 이 원인을 확인하기 위해 Profiler를 사용하게 되었습니다. 이 과정에서 Profiler를 사용하는 방법에 대해서 배우게 되었습니다. 그리고 결과적으로 Android → Unity 간 리플렉션으로 인하여 Thread Run Time이 길어지는 것을 확인하였고 이 과정에서 Frame이 5까지 줄어드는 것을 확인하여 개발을 Unity 프로젝트로 이동하는 걸로 종료하였습니다.

</aside>

주어진 목표는 끝까지 도전하기

• Android - Unity 플러그인 개발은 종료되었지만 Unity에서 60 프레임 동작 목표는 꼭 달성하고 싶었기에 R&D 작업을 진행하였습니다.

<aside> 💡 결과적으로 JNI 수준에서 Unity Shader로 직접 pointer를 설정하여 Image를 전달하는 라이브러리를 찾아내었고 내부 구현 플러그인도 주석을 달아서 Unity 개발자에게 전달하였습니다. 주어진 목표를 끝까지 도전한 경험이었습니다.

</aside>

공 감지 및 공 시작 검증 개발

• 사진에서 골프공이 골프채에 맞고 공이 전진하는 것을 찾아내는 것을 개발하기 시작했습니다.