指を広げるだけで、机が親指と人差し指の間の長さをその場で教えてくれます。ペンを測れば130mmと出て、定規をあててもほぼ同じ値。机の天板ぜんぶが「実寸で描ける画面」になる未来の机を作りました。その数字が「実寸だ」と言える根拠を、ずんだもんと春日部つむぎの対話形式で順番に解説します。
この記事は、YouTube チャンネル「ビーバーものづくり研究所」で 2026年8月15日に公開した動画「【作ってみた】指先だけで長さを測れる机！？実寸で測れる未来の机作ってみた！」の記事版です。動画で紹介した仕組みと結果を、文章で読み返せるようにまとめました。
机のふちの2台だけで、天板ぜんぶが画面になる
使っている機材は、超短焦点プロジェクターとUSBカメラの2つだけです。どちらも机のふちに置くだけで、天井に吊るす必要はありません。プロジェクターはすぐ手前から斜めに天板へ映すので、手を出しても手の影が数字にかかりにくくなります。カメラは机を見下ろす位置に一緒に付けてあり、「映す係」と「見る係」で役割を分担しています。
手の検出はMediaPipeの21点、使うのは指先の2点だけ
カメラが指を見つける処理は、MediaPipeに任せています。手が写ると関節など21個のランドマーク（点）が返ってきて、手首が0番、というように指先まで番号が振られています。この装置で使うのは、親指の先と人差し指の先の2点だけです。右手か左手かも一緒に返ってきます。
返ってくる座標は2種類あります。ひとつはカメラ画像の中のピクセル座標、もうひとつは手の中心を原点にした立体座標で、こちらはメートル単位で返ってきます。ただし立体座標はモデルの推定なので、スケールが揺れる弱点があります。そこで、手首から中指の付け根までの長さに注目します。ここは手を開いても閉じても本来は一定なので、この長さが動いたら推定スケールが揺れている合図になります。自分の手の実寸を渡しておけば、その比で毎フレーム打ち消すこともできます（効くのは1割か2割のズレまで）。
実寸の根拠はホモグラフィと3段階の較正、残差は0.72mm
実寸にできるカギは、指も紙も皿も、扱う点がすべて机という同じ平面の上にあることです。同じ平面の上の点どうしなら、どの視点から見た像でも、3×3のホモグラフィ（行列）1枚で相互に変換できます。座標系はカメラのピクセル、机のミリ、投影のピクセルの3つで、それを2枚の行列で結んでいます。
大事なのは、「1mm＝何ピクセル」という単一の倍率は存在しないことです。斜めから映しているため遠近がつき、同じ1mmでも机の奥と手前で長さが変わり、倍率は場所ごとに違います。だから描画は最初から最後までミリで組み立て、投影する瞬間だけピクセルへ落とす設計にしています。
その行列を求める較正は3段階です。まず基準の四角を机に映し、その4つの角をカメラ映像の上でクリックしてカメラと投影を結びます。次に、ArUco較正ボードを実寸で印刷して置き、実寸を決めます。印刷設定の「用紙に合わせる」を必ず切るのがポイントです（勝手に縮められたらすべてずれます）。ボードを6枚分置いて24点から最小二乗で解き、ずれ（残差）はピクセルではなくミリで評価します。現在の残差は0.72mmで、目安の2mm以下を十分に満たしています（カメラかプロジェクターを動かしたら、較正は最初からやり直しです）。
距離はworldとtableの2系統、震えは1ユーロフィルタで止める
指の間の距離は、同じ測定から常に2通り計算しています。ひとつめのworldは、MediaPipeの立体座標から直接出す距離で、較正は一切使いませんが、指が机から浮いていても測れます。ふたつめのtableは、指先を机の平面に落として測る距離で、較正を使いますが、指が机に触れていることが前提です。画面には両方の数字をいつも並べて表示していて、既定はworldです。「較正したのに数字が変」というときは、まず今どちらの数字を見ているかを確認します。
指を止めていても、点の推定ノイズで数字は数ミリ揺れます。かといって強く均すと、速いつまむ動作に追いつけません。そこで、動きの速さで強さを変える1ユーロフィルタを使い、止まっているときだけ強く均します。さらに表示側では1mm刻みに丸め、1.5mm動くまでは書き換えない不感帯を設けています。その結果、静止中の表示の書き換えは28回/秒から0.6回/秒へ減り、しかも追従は100msから67msへ速くなりました。
いちばん効く誤差は「手の向き」――そして実寸で描ける楽しさ
誤差の最大要因は、機械ではなく手の向きです。つまむ軸が傾くと、同じ開き具合でも数字が小さく出ます。傾き45度で0.71倍、70度では0.34倍まで縮みます。実際に「机の右で60mm、左で20mm」という食い違いが出たことがあり、計算するとちょうど70度の傾きでした。そこで45度を超えると画面に警告を出すようにしています。一方、指が浮いていることによる視差の影響は思ったより小さく、増える方向で最大でも1.5倍ほどです。机の奥ほど1ピクセルあたりのミリが大きくなること、レンズの歪みは未対応であることも明かしています。
実寸で描けるということは、まだ手元に無い物を原寸で机に置けるということです。メニューのピザを原寸で机に映せば、注文する前に大きさが分かります。指でサイズを変えれば、切ったあとの一切れの大きさまで見えます。そして届いた本物を映した円の上に置くと、ぴったり重なりました。座標変換もフィルタも機材なしのテストで固めてあり、実機で疑うのは認識と較正だけで済む作りです。
まとめ
平面であること、ホモグラフィ1枚、そして丁寧な較正。この3つで、ただの机が実寸のものさしになりました。指先だけで長さを測る体験と、その裏側の検証の積み重ねは、ぜひ動画でどうぞ：【作ってみた】指先だけで長さを測れる机！？実寸で測れる未来の机作ってみた！（YouTube）
動画で紹介したもの（購入リンク）
この動画の概要欄には、購入リンク（ショッピングリンク）は掲載されていません。概要欄の「使ったもの」は、超短焦点プロジェクター、USBカメラ、ArUco較正ボード、MediaPipe（手の検出）と自作の投影描画プログラムです。以下は公式ページがあるもののリンクです。
超短焦点プロジェクターとUSBカメラは、概要欄に製品名の記載がないため、特定の製品へのリンクは載せていません。
