Study_log

자율주행에서 논의가 많이 되는 보행자 탐지. 최신 연구를 찾다 LSFM 기법을 알게 됐고 어떤 모델이 사용되었는지를 중심으로 살펴보자. 전반적으로 요약하면, (요약만 보고 뭔 내용인지 이해했다면 밑에 내용은 읽을 필요 없고, 만약 이해가 안 됐다면 스크롤을 내리길 바란다.) 1. 현재 자율주행 시스템에서보행자 감지기는 추론 시간이 길고,작은 보행자나 가려진 보행자에 대한 성능이 저조한 두 가지 문제 존재 2. LSFM(Localized Semantic Feature Mixers)은 새로운 앵커 프리 보행자 감지 아키텍처.계산 비용이 많이 드는 특징 피라미드 네트워크(FPN) 대신 Super Pixel Pyramid Pooling 모듈을 사용MLPMixer 기반의 Dense Focal Detection N..

지난번에 이어, MoveNet으로 관절 Keypoint까지 인식하는 것에 성공했다. 우리의 목표를 다시 한번 상기해 보자면 더위, 추위를 인식하기. 사실 실효성이 있는 모델인지는 모르겠지만 모델을 학습하고 라이브러리 사용에 의의를 두자. 최종 목표는 4가지 동작을 인식하는 것이지만 데모 모델이기에 shivering과 fanning, 두 동작을 인식시키기로 결정했다. actions = ['cold_shiver', 'fanning'] # 학습할 두 가지 동작seq_length = 30 # 시퀀스 길이created_time = int(time.time())def process_frame(frame): img = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) img = tf.image.r..

지난번 Mediapipe로 간단한 LSTM을 거쳐 동작을 인식하는 것까지는 성공했지만, 프로젝트의 최종 목표: 다수의 사람들 사이에서 동작을 인식하는 것은 실패로 돌아갔다. 단일 객체만 인식하는 Mediapipe는 Openpose와 호환이 되지 않았고, Openpose 또한 일반적인 노트북에서 구동하기 무거운 사양이기에 다른 라이브러리를 찾아봤다.  Multi detection이 가능하고, 가벼워야 한다. 이 조건을 모두 만족하는 모델, MoveNet을 사용하기로 결정. Google Research에서 TensorFlow.js로 개발한 경량화된 자세 추정 모델이다. 기본 설명을 하자면, MoveNet은 17개의 관절, 또는 신체 특이점(눈, 코 등)을 감지해 17개의 KeyPoint를 제공한다. 정확도에..