画像が読める最新の判断AIに、ロボットアームを任せてみました。ところがアームは左、左、左と回り続け、関節の限界で止まっても、AIはまだ「左」を選び続けました。19回連続です。写っているものは分かっても、何センチずれているかは読めなかったのです。
この記事は、YouTube チャンネル「ビーバーものづくり研究所」で 2026年10月8日に公開した動画「【Decisions API】カメラ付き即断AIにロボットアームを任せたら、“左”を連打された!?｜JevライクなAI、Decisions APIとClefで制御」の記事版です。動画で紹介した仕組みと結果を、文章で読み返せるようにまとめました。前回、文章を書かないAI「Jev」で移動ロボットを動かした回の続きです。関連記事：しゃべらない最新AI、「Jev」でロボを動かしてみた
画像も読める判断AI ― ClefとDecisions API
判断用のAIは、選択肢を渡すと1つを選んで確率を付けて返します。前回の Jev と同じ仕組みで、今回のモデルは画像も読めるのが違いです。2026年10月1日に Cloudflare が Clef を出し、10月6日には OpenAI の Decisions API（使うモデルは GPT-6 Luna）も使えるようになりました。判断にかかる時間は Luna で約0.2秒、Clef で約0.5秒で、料金は読ませた入力分だけ、出力は無料とされています。画像を見て選べるなら、ロボットも動かせるのではないか、というのが今回の出発点です。
作戦1：カメラの画像をそのまま渡すと失敗する
使ったのはロボットアーム SO-101 です。真上と横にカメラを1台ずつ付け、オレンジのキューブを緑のマットまで運んでもらいます。キューブもマットも、机のどこに置いてもいい前提です。AIには「左、右、奥、手前、上げる、下げる、開く、つかむ」の8つから次の1手を選ばせ、選んだら1.5センチだけ動かして、また写真を撮って聞き直します。これがうまくいけば、ロボットで動かしたデータで学習させる VLA の代わりになるかもしれない、という狙いでした。
結果は失敗でした。Clef はキューブの無い所で「つかむ」を選び、それが5回ありました。自信の値もほとんど0.1以下でした。Luna は冒頭の「左」の連打で、位置の読み取りが苦手なことがはっきりしました。なお、画像をそのまま渡した結果は実機で、Clef は5回の試行（45手）、Luna は1回の試行（26手）のログから数えたものです。
作戦2：見るのはOpenCV、ずれは言葉で渡す
そこで、見る役は OpenCV に任せました。決まった色の場所を探す画像処理で、オレンジの小さな四角がキューブ、緑の大きな四角がマットです。キューブ自体を目印にして、5か所で画面上の位置とアームの位置を記録し、対応づけました。
ここからは、何度も試せるように自作の簡易なシミュレーターで比べています。ずれを数字で渡すと、AIは左、右、左、右と80手かけて往復しただけでした。「マイナス2.6センチ」が右へ動けという意味だと読めなかったのです。そこで「右へ2.6センチ」と言葉に直して渡すと、Clef はマットまで運べるようになりました。ただ、置いたあとに同じキューブをまたつかみ直し、終わったことが分かりませんでした。Luna はキューブの横まで下りてもつかまず、「つかむ」を選ぶ確率は数パーセントしかありませんでした。
作戦3：AIには段階だけ選ばせ、実機は横からつかむ
最後は、AIに次の1手ではなく「今がどの段階か」だけを選ばせました。段階は「近づく、下ろす、つかむ、持ち上げる、運ぶ、置く、離す、完了」です。どちらへ何センチ動くかはプログラムが計算します。これでシミュレーターでは Clef も Luna も、キューブの開始位置を変えた3回とも最後まで運べました。小さい Clef-flash はこれでも失敗しました。料金は1回運んで Clef が約1.2円、Luna が約0.5円でした。
実機ではもう1つ問題がありました。真上からつかむとキューブがグリッパーの下に隠れ、シミュレーターでも32手のうち26手で上のカメラから見えなくなったのです。そこでグリッパーを床とほぼ平行にして、キューブの3センチ手前で下ろし、手前から差し込む持ち方に変えました。最初はキューブが指先にしか入っていないのにプログラムが閉じてしまい、つかみ損ねをくり返しましたが、そこを直すと、実機でも Clef と Luna の両方でマットまで運べました。Luna は最後に下ろす・上げるを3回くり返す迷いも見せました。
AIを使わないルールと比べると
段階は、AIでなく決め打ちのルールでも決められます。離れていたら近づく、真上に来たら下ろす、という手順をそのまま書いたもので、決まった動きの再生ではなく、位置は毎回カメラで見つけています。結果はこれが一番うまくいきました。シミュレーターでも3回とも成功し、実機ではスタートが一番遠かったのに26秒で運び終え、料金は0円でした。Luna はほぼ同じ40手で38秒でした。1手の動きは同じで、AIに聞いて待つ時間がそのまま上乗せになるのです。ただし最後の実機比べは各1回ずつで開始位置がそれぞれ違い、Clef の回は途中で手動の確認をはさんだため、通しの秒数は比べていません。
まとめ
今の精度なら、位置を読むのも、数字を比べるのも、段階を決めるのも、プログラムに任せたほうが速くて安い、というのが今回の結論です。測定は2026年10月8〜9日に行い、作戦2以降の比較は自作シミュレーター（開始位置3通り）、料金は API が返した入力トークン数から計算しています（入力100万トークンあたり Clef 0.24ドル、GPT-6 Luna 0.10ドル、出力は無料、1ドル150円で換算）。判断の時間はネット越しの往復時間です。AIの性能が上がって位置まで読めるようになれば、この分け方も変わってくるかもしれません。
実際の動きは動画でどうぞ：【Decisions API】カメラ付き即断AIにロボットアームを任せたら、“左”を連打された!?｜JevライクなAI、Decisions APIとClefで制御（YouTube）
動画で紹介したもの（購入リンク）
この動画の概要欄には、Amazon・AliExpress などのショッピングリンクは掲載されていません。そのため、本記事にも購入リンクは入れていません。概要欄に載っている資料へのリンクは、購入リンクとは別に以下にまとめます。
