Unreal Engine tabanlı son çalışmamda, kamera hareketlerini ve sahne içi etkileşimleri tamamen el hareketleri ve parmak jestleri üzerinden yöneten bir kontrol sistemi geliştirdim. Webcam’den alınan görüntüleri Python + MediaPipe Hand Landmarker + OpenCV ile gerçek zamanlı işleyip, 21 eklem noktasını hesaplatıyorum ve bir JSON protokolüyle UDP üzerinden Unreal Engine tarafına aktarıyorum.
Unreal kısmında ise geliştirdiğim bir plugin ile blueprint tarafına bu verileri gönderebiliyorum. Plugin ise el iskeletini 3D dünyaya map ediyor, parmak birleşmelerini ve farklı el pozlarını algılayarak kamerayı, odak takibini ve interaktif nesneleri tamamen temassız, doğal bir etkileşime dönüştürüyorum.
Dipnot: Videodaki kişi ben değilim mesai arkadaşım.
