2차 프로젝트 재움 진행사하아앙_1005

1. 구현할 자세 확정 :

 

1. 새우잠 자기 - 주호
2. 양팔, 한쪽 팔 만세자세 
3. 엎드려서 고개만 한쪽 방향으로 돌리고 자기 (고개 돌아감) 
4. 정자세 -> 큰 대자로 자도 정자세에 속하나요 ’일단은’
5. 다리를 꼬고(포개고) 자기
6. 팔 깔고 엎드려자기 <ㅇ> 
7. 이미지에 Yearner Right 도 추가  - 주호
8. 양팔 깍지껴서 머리뒤에 받치고 자기 <ㅇ> 
   • 머리, 몸, 팔, 다리 각각의 각도 설정(팔 올림 접힘, 다리 접힘, 머리, 몸 방향 유추 -> 다리 접힘, 몸접힘 : 새우잠 산출)
     
     • 각 부위의 각도를 세밀하게 조정하여 조건에 맞는 자세를 산출하게 해야함
   • 이불 테스트
     • 몸만 덮고 있는 경우 - 어느 정도 인식함

       

        
     • 몸 반만 덮고 있는 경우

       

        
     • 얼굴만 덮고 있는 경우 - 얼굴 위치를 파악하여 전체적으로 잘 인식함

       

 

 

2. 평가 metric 공부해 보고 서로 논의해 보기(기본 정의 정리)

https://jucode.tistory.com/24

모델 분류 성능 평가 지표(Classification Metric)

3. 밝기 인식 평가용 데이터셋 준비 및 테스트

•  밝기의 척도가 1~10 일 때 불을 킨 상태가 5 정도로 인식
• 영상으로 좀 더 어두운 환경에서 테스트
  • 아래의 사진은 밝기가 1이 나오는데 완전히 어두워지기 전에 인식되는 것을 확인함. 어느 정도의 빛이 있어야 인식 가능 

    

• 어두운 환경에서 사용하는 경우에 인식할 수 있도록 PIL의 ImageEnhance를 사용하여 입력받는 영상의 밝기, 대비를 조절하도록 구현
  • mediapipe에서 자세를 인식할 때와 PIL에서 밝기를 인식할 때 색상의 영향을 받기 때문에 대비가 높은 이미지에서 잘 인식하지 못하는 문제가 있어 대비를 조절하는 기능을 추가함
  • mediapipe로 자세를 인식할 때 너무 어두운 경우 사람을 인지하지 못하는 문제가 발생하여 ImageEnhance를 사용하여 밝기를 측정하고 일정 수치보다 낮은 경우 밝기를 높히는 기능을 추가함
  • 밝기의 척도를 1-10으로 책정 시 반올림되는 범위가 크다고 판단하여 범위 1-100으로 재설정

4. mediapipe를 통해 뒷모습 인식

5. vector search 유사도 기법 연구 및 테스트(더 정교한 자세 파악을 요할 때 프로젝트에 적용 예정)

• Euclidean Distance를 통한 (현재프레임, 이전프레임) 각도 리스트 벡터 거리합(100 이상)으로 자세 변함 감지
• 코사인 유사도기법으로 자세비교 (① 랜드마크 비교, ② 각도비교)
• 위 유사도 기법으로 비교 후 자세가 변화했다고 감지한 것만 프레임을 이미지로 저장