JobAutoで画像を指定してマウス操作する方法

サポートチーム

8年前

★アクションの説明、概要

JobAutoでアプリ画面の画像を指定し、その箇所に対してマウス操作を行う方法について説明します。

「【画像】マウス操作」アクションでは、アプリデザインで操作したい箇所を画像として指定し、実行時にJobAutoが画面上からその画像を探してマウス操作を行います。

クリック、ダブルクリック、右クリック、マウス移動のほか、マウスダウン・マウスアップ、上スクロール・下スクロールなどを設定できます。

操作したい箇所を要素として認識できない場合などに、画像マッチングを使って画面上の操作対象を指定します。

★アクションの作成方法

★アクションの設定画面について

アクション設定画面の設定項目について説明します。「画面を読み込み」「操作対象にフォーカス」「背景色」については、アプリデザインの使い方をご確認ください。

１．基本設定

１－１．画像が見つかるまでのタイムアウト（秒）

設定した時間まで、指定した画像をロボットが探し続けます。

１－２．クリックパターン

クリックの種類を選択します。

・クリック

マウスのクリックを行います。

・ダブルクリック

マウスのダブルクリックを行います。

・右クリック

右クリックを行います。

・マウス移動

カーソルを移動します。

・マウスダウン

マウスの左ボタンを押した状態にします。

・マウスアップ

押した状態になっているマウスの左ボタンを離します。

・上スクロール

マウスを使って上にスクロールします。

・下スクロール

マウスを使って下にスクロールします。

１－３．判定方法

指定した画像をロボットが探しに行くときの判定方法を設定します。こちらでも説明しています

・見た目で判定

指定した画像の見た目を使って、画面上から画像を探します。

・特徴で判定

指定した画像の特徴を使って、画面上から画像を探します。

１－４．クリック位置

指定した画像内のクリック位置を座標で設定します。

・X

クリック位置のX座標を設定します。X座標には変数を使用できます。

・Y

クリック位置のY座標を設定します。Y座標には変数を使用できます。

１－５．画像一致率

指定した画像とアプリ画面上の画像を、どの程度一致したときに操作対象とするか設定します。設定値を高くすると判定は厳しくなります。画面上に対象画像が表示されていても見つからない場合は、設定値が高すぎないか確認してください。画像一致率の右側には、現在の一致率が％で表示されます。

１－６．この範囲で探す（範囲指定方法）

指定した画像を探す範囲を設定します。デフォルトでは接続中のアプリ全体から探します。

・座標

接続中のアプリ全体から探す範囲を座標で設定します。

・比率

接続中のアプリ全体から探す範囲を比率で設定します。

・全体

接続中のアプリ全体から探します。

２．高度な設定

２－１．アクション有効

このアクションを無効にする場合は、チェックを外します。

２－２．一致したイメージショットをログに残す

チェックを入れた状態でスケジュール実行すると、実行ログに処理対象となった画像が表示されます。

３．エラー発生時の対応

３－１．エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

３－２．基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

３－３．エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

画像マッチングでアプリをマウス操作する

「【画像】マウス操作」では、操作したい箇所の画像を指定し、実行時にJobAutoが接続中のアプリ画面からその画像を探してマウス操作を行います。

ボタンなどを要素として認識することが難しい場合などに、画面上の見た目を使って操作対象を指定できます。

要素マッチングと画像マッチングの違い

要素マッチングと画像マッチングでは、操作する箇所をJobAutoが認識する方法が異なります。

マッチング方式	操作対象の認識方法
要素	アプリ内の要素を使って操作対象を認識します。
画像	画面上の画像を使って操作対象を認識します。

操作対象を要素として認識できる場合は、まず要素マッチングで操作できるか確認します。

要素として認識することが難しい場合などは、画像マッチングによる操作を検討してください。

「見た目で判定」と「特徴で判定」の違い

画像を探すときの「判定方法」では、「見た目で判定」と「特徴で判定」を選択できます。

判定方法	内容
見た目で判定	指定した画像の見た目を使って、画面上から画像を探します。
特徴で判定	指定した画像の特徴を使って、画面上から画像を探します。

画像マッチングが安定しない場合は、「特徴で判定」を使って動作を確認してください。

特徴で判定する場合は、操作対象となる画像を大きめに設定することも検討してください。

画像一致率を確認する

「画像一致率」では、指定した画像とアプリ画面上の画像をどの程度一致したときに操作対象とするかを設定します。

画像一致率を高くすると判定の正確性は高くなりますが、設定を厳しくしすぎると、画面上に対象画像が表示されていても画像がないと判定される場合があります。

現在の一致率も表示されるため、実際の一致率を確認しながら設定してください。

画像を探す範囲を指定する

「この範囲で探す」では、指定した画像を検索する範囲を設定できます。

デフォルトでは、接続中のアプリ全体から画像を探します。

範囲指定方法	内容
座標	接続中のアプリ内の検索範囲を座標で指定します。
比率	接続中のアプリ内の検索範囲を比率で指定します。
全体	接続中のアプリ全体から画像を探します。

同じような画像が画面内に複数ある場合などは、検索する範囲を限定できないか確認してください。

画像内のクリック位置を指定する

「クリック位置」では、見つかった画像のどの位置をクリックするかを X座標・Y座標で設定します。

X座標とY座標は変数参照することもできます。

クリック以外のマウス操作を行う

「クリックパターン」では、通常のクリック以外のマウス操作も設定できます。

クリックパターン	動作
クリック	マウスのクリックを行います。
ダブルクリック	マウスのダブルクリックを行います。
右クリック	マウスの右クリックを行います。
マウス移動	指定した位置へマウスカーソルを移動します。
マウスダウン	マウスの左ボタンを押した状態にします。
マウスアップ	押した状態になっているマウスの左ボタンを離します。
上スクロール	マウスを使って上方向へスクロールします。
下スクロール	マウスを使って下方向へスクロールします。

操作対象の画像を正しく指定できているか確認する

アクションを作成したあとは、アプリデザインの「操作対象にフォーカス」を使って、 JobAutoが目的の画像を正しく認識できているか確認してください。

想定とは異なる場所へフォーカスする場合や、画像を見つけられない場合は、判定方法、画像一致率、画像の指定範囲などを確認してください。

スケジュール実行時の画像をログで確認する

高度な設定の「一致したイメージショットをログに残す」を有効にすると、スケジュール実行時のログに処理対象となった画像が表示されます。

開発時には正常に動作していた画像マッチングがスケジュール実行でうまく動かない場合などは、ログに残された画像も確認してください。

画像が見つからない場合

「【画像】マウス操作」では、「画像が見つかるまでのタイムアウト（秒）」で設定した時間まで指定した画像を探します。

指定した画像が見つからない場合は、次の点を確認してください。

操作対象となるアプリへ正しく接続しているか
アプリデザインに最新の画面が表示されているか
操作対象として指定した画像が実際の画面と合っているか
「操作対象にフォーカス」で目的の画像を認識できているか
「見た目で判定」と「特徴で判定」のどちらが適しているか
画像一致率が厳しすぎないか
「この範囲で探す」の検索範囲が正しいか
対象画像の表示に時間がかかる場合はタイムアウト時間が適切か