JobAutoの画像マッチングが安定しない場合の対処方法｜特徴で判定

サポートチーム

1年前

★質問・概要

Q．JobAutoのアプリ操作で画像マッチングを使用すると、画像が見つからなかったり、実行するPCによって認識が安定しなかったりします。どこを確認すればよいですか？

★回答

A．「見た目で判定」で画像を認識しにくい場合は、「特徴で判定」を試してください。 対象画像の指定範囲を見直し、「操作対象にフォーカス」で目的の位置が認識されているかを確認します。

画像が見つからない場合は、判定方法だけでなく、画像一致率、検索範囲、画面の表示状態、スケジュール実行ログも順に確認してください。「特徴で判定」でも必ず安定するわけではありません。

1．「見た目で判定」と「特徴で判定」を確認する

JobAutoの画像マッチングでは、指定した画像の探し方として「見た目で判定」と「特徴で判定」を選択できます。操作対象や画面の表示状態に応じて、認識しやすい方法を選びます。

判定方法	画像の探し方	確認するポイント
見た目で判定	指定した画像の見た目を使って探す	表示色や形状などが変わると見つからないことがある
特徴で判定	指定した画像の特徴を使って探す	特徴が分かる範囲を指定し、認識箇所を確認する

「見た目で判定」で見つけにくい場合は、「特徴で判定」に変更して試します。違いの詳しい説明は見た目で判定と特徴で判定の違いも参考にしてください。

2．「特徴で判定」では対象画像の範囲を見直す

「特徴で判定」を使うときは、画像の特徴を捉えられるよう、操作対象として指定する画像を大きめにする方法が有効な場合があります。ボタンや文字だけでなく、周囲の識別しやすい特徴も含められるか確認してください。

ただし、画像を広げすぎて、時刻・日付・件数・通知など実行のたびに変わる部分を含めると、かえって認識しにくくなる場合があります。必要な特徴は含め、変化しやすい部分を避けながら調整します。

画像の指定範囲を変更した場合は、画像内のクリック位置（X・Y座標）も意図した場所になっているか確認してください。画像の範囲が広がると、指定画像内での操作位置を見直す必要がある場合があります。

3．「操作対象にフォーカス」で認識結果を確認する

画像を指定した後は、アプリデザインの「操作対象にフォーカス」を使用して、JobAutoが実際にどこを操作対象として認識しているかを確認します。

指定した画像をアクションの設定画面で確認する。
「操作対象にフォーカス」を実行する。
目的のボタンや入力欄の位置にフォーカスが当たるか確認する。
別の位置が認識される場合は、画像の範囲・判定方法・一致率・検索範囲を見直す。

アプリデザイン上の画面が現在のアプリと異なる場合は、先に「画像を読込み」で画面を更新してください。詳しくはアプリデザインの使い方をご確認ください。

4．画像が見つからない・別の場所を操作する場合の確認

4-1．画像一致率と現在の一致率

「画像一致率」は、指定した画像と画面上の画像をどの程度一致したときに操作対象とするかを設定します。設定を高くすると判定が厳しくなり、目的の画像が表示されていても見つからないことがあります。

設定画面に表示される「現在の一致率」も確認して調整してください。一致率をむやみに下げると、似た別の画像を操作対象として認識するおそれがあります。 調整後はフォーカス先を確認します。

4-2．画像を探す範囲

画面内に同じような画像が複数ある場合は、「この範囲で探す」を使用して検索範囲を絞る方法を検討します。

範囲指定	内容	注意点
座標	アプリ内の指定した座標範囲から探す	解像度や画面サイズの変更に注意
比率	アプリ内の比率で範囲を指定する	アプリの配置や表示内容の変更に注意
全体	接続中のアプリ全体から探す	同じような画像が複数見つかる可能性

検索範囲を狭くした場合は、対象の画像がその範囲内に表示されることを確認してください。

4-3．作成PCと実行PCの画面表示

画像マッチングは画面の見た目を使うため、PCごとの解像度、Windowsの表示倍率、アプリのウィンドウサイズ、ボタンの表示状態などが変わると認識結果に影響する場合があります。ロボットを作成したPCと、実際にスケジュール実行するPCの表示を比較してください。

画面表示が切り替わる途中で操作していないかも確認します。対象画像が表示されるまで時間がかかる場合は、画像が見つかるまでのタイムアウト設定も確認してください。

4-4．スケジュール実行ログに一致した画像を残す

「【画像】マウス操作」などの高度な設定にある「一致したイメージショットをログに残す」を有効にすると、スケジュール実行ログで認識した画像を確認できます。ロボデザイン上では正しく動くのにスケジュール実行で異なる位置を操作する場合は、実際に認識された画像と対象画面を比較してください。

ログに業務データや個人情報を含む画面が残る場合は、閲覧権限と保管方法にも注意してください。

5．画像マッチングが安定しない場合の確認順序

「見た目で判定」と「特徴で判定」のどちらを使っているか確認する。
「特徴で判定」の場合は、特徴を捉えられる画像範囲へ調整する。
「画像を読込み」で現在の画面を取得する。
「操作対象にフォーカス」で正しい位置が認識されるか確認する。
画像一致率と現在の一致率を比較する。
検索範囲と画像内のクリック位置が適切か確認する。
実行PCの解像度・表示倍率・アプリ画面の違いを確認する。
スケジュール実行ログに残した画像で認識箇所を確認する。

6．それでも安定しない場合

操作対象を要素として認識できる場合は、画像マッチングではなく要素マッチングで操作できないか確認します。画面上の文字をOCRで指定する方法もありますが、文字マッチングも認識状態に左右されるため、実際の画面に合う方式を選んでください。

画像の指定範囲や操作位置をさらに調整する場合は、画像マッチングの画像範囲・操作位置を調整する方法も参考にしてください。