Skip to content

Docs/#2 Perception Handoff#4

Merged
LeeMin-hyeong merged 1 commit into
mainfrom
docs/#2-perception-handoff
Jun 15, 2026
Merged

Docs/#2 Perception Handoff#4
LeeMin-hyeong merged 1 commit into
mainfrom
docs/#2-perception-handoff

Conversation

@LeeMin-hyeong

Copy link
Copy Markdown
Contributor

📌 변경 내용 요약

MacGyvBot 발표자료의 handoff/perception 파트를 보강했습니다.

  • 기존 bbox 및 rule-based grasp detection 실패 사례 GIF 추가
  • SAM+Depth mask 생성 흐름 슬라이드 추가 및 설명 보강
  • handoff 최종 판단 구조를 hand landmark ML classifier + SAM depth mask contact 중심으로 정리
  • driver/wrench mask 기반 grasp recognition GIF 추가
  • 발표자료 전반의 h2 하단 콘텐츠 정렬 및 시각 밀도 조정
  • handoff 관련 슬라이드의 GIF 크기, 카드 높이, flow caret 위치 조정

🧩 변경 유형

  • 버그 수정
  • 신규 기능 추가
  • 리팩토링
  • 문서 수정
  • 모델/실험 코드 변경
  • 데이터셋/라벨 변경
  • ROS 2 패키지 변경
  • 설정 파일 변경
  • 안전 관련 변경
  • 기타: 발표자료 시각화 및 구성 개선

🔗 관련 이슈

Related #2

✅ 테스트 내용

  • 로컬 실행 확인
  • ROS 2 노드 실행 확인
  • 카메라 입력 확인
  • 모델 추론 확인
  • 로봇팔 이동 확인
  • 그리퍼 동작 확인
  • 서랍 개폐 확인
  • 시뮬레이션 확인
  • 문서 링크 확인
  • 해당 없음

📋 테스트 결과 로그

로컬 정적 서버 실행:
python3 -m http.server 8765

확인 URL:
http://localhost:8765/MACGYVBOT-DECK/

확인 내용:
- #16 rule-based / bbox limitation GIF 로드 확인
- #17 SAM+Depth mask 생성 흐름 및 GIF 로드 확인
- #18 handoff final slide 내 driver/wrench mask grasp recognition GIF 로드 확인
- 슬라이드 수 32장 확인
- h2 하단 콘텐츠 중앙 정렬 확인
- 17페이지 vertical caret 위치 조정 확인

🧾 체크리스트

  • 코드가 정상 실행된다.
  • 불필요한 파일이 포함되지 않았다.
  • 큰 모델 파일/데이터셋이 포함되지 않았다.
  • 필요한 문서가 업데이트되었다.
  • 설정값 하드코딩 여부를 확인했다.
  • 안전 관련 변경을 검토했다.

👀 리뷰어가 확인해야 할 부분

  • handoff 파트의 발표 흐름이 초기 구현 → 한계 → SAM+Depth mask → 최종 handoff 판단 순서로 자연스러운지
  • rule-based grasp detection 실패 사례와 YOLO bbox 실패 사례가 limitation 설명에 적절한지
  • hand landmark ML classifier + SAM depth mask contact 설명이 실제 구현 의도와 맞는지
  • driver/wrench mask grasp recognition GIF가 handoff final slide에 들어가는 구성이 적절한지
  • SAM+Depth mask 생성 흐름 설명이 perception pipeline을 과하게 단순화하지 않는지

📎 추가 설명

이번 변경은 실제 perception 코드를 수정하는 작업이 아니라 발표자료의 handoff/perception 설명을 보강하는 작업입니다.

특히 handoff 판단을 단순 거리 기반 rule에서 끝내지 않고, 손 landmark 기반 ML grasp/open 판단과 SAM+Depth mask contact를 함께 사용하는 구조로 설명하도록 정리했습니다. 후속으로 실제 시연 영상이나 annotated debug image가 더 정리되면 해당 슬라이드의 proof object를 추가 교체할 수 있습니다.

@LeeMin-hyeong LeeMin-hyeong linked an issue Jun 15, 2026 that may be closed by this pull request
19 tasks
@LeeMin-hyeong LeeMin-hyeong self-assigned this Jun 15, 2026
@github-actions

Copy link
Copy Markdown

MacGyvBot Deck PDF

PDF artifact has been generated for this PR.

Note: GitHub may require sign-in to download Actions artifacts.

@LeeMin-hyeong LeeMin-hyeong merged commit cdc9a41 into main Jun 15, 2026
1 check passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[Docs] Presentation Deck

1 participant