최근 Endpoint AI, TinyML등 임베디드 기기에서 neural network 모델을 활용하는 시도가 많이 소개되고있다. Neural network 모델을 개발할 때에는 주로 Python 환경에서 Pytorch나 Tensorflow와 같은 패키지를 사용하는데 임베디드 기기에서는 일반적으로 C나 C++을 주로 활용하기 때문에 모델 학습할 때와 ...

Jetson nano에서 GPU활용없이 CPU만 사용해서 neural network 모델을 inference를 해야하는 일이 생겼다. 개발해야하는 application은 32ms 길이의 오디오 신호를 16ms 이내에 처리해야 하는데 모델의 inference time이 16ms가 넘는 문제가 있었다. Neural network 모델의 inferenc...