Reserach นี้ศึกษาเรื่อง computer vision ของในเรื่อง hand tracking โดยดูจากวัตถุที่เคลื่อนไหวเร็วโดยจับผ่านผ่านกล้องเวปแคม
- จับวัตถุที่ผิดรูปอย่างรวดเร็ว (rapidly deformed)
- ทำนายทิศทางการเคลื่อนที่ของมือที่เปลี่ยนแปลงรูปร่างอย่างรวดเร็วและแยก Gusture ต่างๆ โดยใช้ shape transition network
- เพิ่มความแม่นยำด้วย 3D hand model โดย map จาก 2D model
Tracking Hand with Rapid Motion and Gesture Classification using Shape Transition Network
จากรายงานการวิจัยบอกว่า เมื่อมือมีการเคลื่อนไหวอย่างรวดเร็วจะทำให้ผิดรูปไปหรือเบลอดังนั้นจะทำให้ยากต่อการตรวจจับวัตถุอย่างต่อเนื่องแต่จากรายงานบอกว่า ถ้ารูปเบลอเราอาจจะใช้การเคลื่อนที่ของวัตถุในการตรวจจับแทนได้ ดังนั้นเราอาจจะพิจารณาที่การเคลื่อนที่ของมืออย่างเดียวตอนที่มีการเคลื่อนไหวอย่างรวดเร็ว
จากรูปจะเห็นว่าวงกลมสีแดงเป็นส่วนที่เคลื่อนที่ สีน้ำเงินเป็นส่วนที่ไม่มีการเคลือนที่ แต่ละละจุดแทนที่ข้อมูลด้วยตำแหน่งและความเร็ว (delta X / delta t)
แต่ละ network สามารถบอกได้ว่า gesture เป็นอะไรได้บ้าง
Reference:
http://www.ri.cmu.edu/research_project_detail.html?project_id=620&menu_id=261
