JobAutoの画像マッチングを安定させる方法|画像範囲・操作位置を調整

画像マッチングを安定させる画像範囲とクリック位置の指定方法

JobAutoのアプリ操作で画像マッチングを使用するときに、操作対象の画像範囲とクリック位置を工夫して、認識を安定させる方法を説明します。

画像マッチングでは、ボタンの枠線や色が変わったり、似た画像が画面内に複数表示されたりすると、目的の位置を正しく認識できない場合があります。画面内でほかと区別できる特徴を含め、変化しやすい部分を避けることが重要です。

このページでは、画像を指定する段階で認識を安定させるための実践例として、画像範囲の設定、ユニークな画像を基準にしたクリック位置の指定、判定方法の確認、共通部品による保守の工夫を紹介します。すでに別の場所がクリックされる問題が起きている場合は、別の場所がクリックされる場合の対処方法もご確認ください。

1.状態によって変化する部分を画像範囲に含めない

操作したいボタンでも、マウスのフォーカスや選択状態によって、枠線の色が変化することがあります。変化する部分を画像として記憶させると、実行時に一致しない場合があります。

以下は、送信ボタンの枠線が青くなっている例です。

枠線が青く表示された送信ボタンの例

このような場合は、変化する枠線を避け、ボタンの中央など表示が安定している部分を画像範囲に指定します。

変化する枠線を避けて画像範囲を指定した例

ただし、範囲を狭めすぎて同じ見た目の部分が複数できると、別の場所を認識するおそれがあります。次の方法もあわせて確認してください。


2.似た画像が複数ある場合は、画面内で区別できる画像を使う

画像マッチングでアクションを作成するときは、ロボットが記憶する画像が、画面内のほかの画像と区別できるように指定します。同じボタンや似た画像が複数あると、目的とは違う場所を操作する場合があります。

以下は、似た名前のボタンが複数並ぶ例です。

似た名前のボタンが並んでいる画面の例

目的のボタンそのものでは区別が難しいときは、近くにあるユニークな画像をマッチング対象とし、そこからクリック位置をずらす方法を検討します。

ユニークな画像を基準として別の位置のボタンを操作する設定例

画像範囲を単純に大きくすれば必ず改善するわけではありません。周囲との違いが分かる特徴を含めつつ、時刻・件数・通知など変化しやすい表示はできるだけ避けます。

画像の指定方法を確認する動画

アプリ操作でロボットに認識させる画像を、画面内で区別できるように選ぶ操作例です。動画の画面表示や操作方法は、現在のJobAutoのバージョンと異なる場合があります。


3.画像の範囲を変更したら操作位置も確認する

操作対象の画像を広げたり、別の画像を基準に変更したりした場合は、画像内のクリック位置が目的の場所になっているか確認してください。一致した画像と、実際にクリックする場所が異なる設定も可能です。

  1. マッチング対象の画像が画面内のどこにあるかを確認する。
  2. 画像に対して指定しているクリック位置が目的のボタン・入力欄になっているか確認する。
  3. アプリデザインの「操作対象にフォーカス」で、実際に認識した位置を確認する。
  4. 必要に応じて「画像を探す範囲」の設定で、検索対象となる場所を絞る。

設定項目の詳細は、JobAutoで画像を指定してマウス操作する方法をご覧ください。

4.「見た目で判定」と「特徴で判定」を使い分ける

画像を探す方法には「見た目で判定」と「特徴で判定」があります。画像範囲を調整しても認識が安定しない場合は、判定方法も確認します。

判定方法主な確認ポイント
見た目で判定色・枠線など画面上の見た目が変わっていないか確認します。
特徴で判定対象を区別する特徴を含む画像範囲になっているか確認します。

「特徴で判定」では、周囲の識別しやすい特徴も含めて画像を少し広めに指定する方法が有効な場合があります。ただし、変化する部分まで取り込まないようにしてください。

詳しい違いと画像一致率の確認方法は、JobAutoで画像マッチングの「特徴で判定」を使う方法をご確認ください。


5.同じ画像操作を複数箇所で使うなら共通部品にまとめる

画像マッチングでは、実行PCの画面表示や解像度が変わると、画像を再設定しなければならない場合があります。同じ操作をロボット内に複数作ると、修正箇所も増えてしまいます。

例えば、次のようなExcelのデータを、業務システムの入力画面へ登録する処理を考えます。

Excelに用意した入力データの例

入力先のシステムは、次のような画面です。

データを登録する業務システム画面の例

入力処理が同じで、渡す値だけが異なる場合は、入力するアクションを共通部品としてまとめられます。

同じ入力処理を共通部品としてまとめたアクションフローの例

Excelなどから取得した値を共通部品へ渡して処理することで、画像の設定を変更する際にも共通部品側の修正で対応しやすくなります。

共通部品へデータを渡して入力処理を実行する例

6.画像マッチングが安定しない場合の確認順序

起きていること確認する内容
ボタンの色・枠線が変化する変化する部分をマッチング画像に含めない。
似たボタンが複数ある画面内で区別できる画像を使う。または検索範囲を絞る。
別の場所がクリックされる一致した画像とクリック位置の設定を確認する。
画像そのものが見つからない「見た目で判定」「特徴で判定」、指定範囲、画面表示の違いを確認する。
実行PCごとに設定の修正が必要実行環境を確認し、繰り返す処理は共通部品化を検討する。

画像マッチングで設定した位置を正しく認識しているかは、「操作対象にフォーカス」で確認できます。操作対象を要素として認識できる場合は、より安定しやすい要素マッチングも検討してください。


関連するアプリ操作マニュアル・FAQ

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。