[진행 중]PP-PicoDet: A Better Real-Time Object Detector on Mobile Devices

논문

Abstract

더 깊은 레이어와 수백만 개의 매개 변수를 늘려 놀라운 성능을 달성함 하지만 제한된 리소스 플랫폼에서는 사용하기 어려움 그래서 성능을 크게 저하시키지 않으려면 1. 가속화되고 2. 메모리 효율성이 높아야한다. 이 논문은 특히 자원이 제한된 스마트 카메라에 심층 신경망을 이식하느데 적합한 방법에 대한 조사를 제시.

• 첫 번째는 지식 증류, 가지치기, 양자화, 해싱, 수치 정밀도 감소, 이진화
• 두 번째는 아키텍처 최적화에 중점을 둔다. 네트워크 구조 향상방법.

Compression techniques

기술	방법	장점	단점
지식증류	CNN을 사용하여 더 작은 CNN을 훈련함	성능이 비슷한 소형 모델.	모델은 처음부터 훈련할 수 있다. 하지만 분류 이외의 업무는 어렵다.
해싱	뉴런을 해시 테이블에 인덱싱함	더 나은 병렬화; 더 나은 데이터 분사니 계산 시간이 적다.	모델이 너무 희소하면 상당히 느리다.
가지치기	성능에 미미한 영향을 미치는 유런을 삭제함	상당한 속도 향상 및 크기 감소; 압축률은 10배 ~ 15배(최대 30배)이다.	가지 치기 과정은 시간이 많이 걸린다 너무 희소한 모델의 경우 덜 흥미롭다.
양자화	클러스터로 수집하여 개별 뉴런의 수를 줄인다.	높은 압축률: 10x ~ 15x; 가지치기 와 결합 될 수 있다.	모델이 너무 희소하면 상당히 느리다.
수치 정밀도	뉴런의 수치적 정밀도 감소.	압축률이 높고 속도가 빨라진다.	매개변수 업테이트 중에는 더 높은 정밀도가 필요하다. 특정 하드웨어가 필요할 수 있다.
이진화	데이터의 수치 정밀도를 2비트로 줄인다.	매우 높은 압축률(30x) 및 속도 향상(50x ~ 60x).	매개변수 업데이트 중에는 더 높은 정밀도가 필요하다.