パワーポイントのウィンドウをブラウザで取り込んで手の動きなどで操る

ビデオ会議アプリをブラウザ上で使った時に、画面共有機能で用いられたりする「mediaDevices.getDisplayMedia」を使って、ブラウザ上でパワーポイントのウィンドウをキャプチャしています。 そして、MediaPipe Hands によるカメラ映像からの手の認識や p5.js による画像加工を使って、指先の位置に合わせてパワーポイントのスライド（キャプチャしたもの）を表示したり、その大きさ・色を変化させたり、ということを HTML＋JavaScript のプログラムでやっています。