JobAutoで指定した画像が消えるまで待つ方法

★アクションの説明、概要

JobAutoで指定した画像がアプリ画面から消えるまで、 ロボットの処理を待機させる方法について説明します。

「画像が消えるまで待つ」アクションでは、 アプリデザインで待機条件となる箇所を画像として指定し、 その画像が画面内から消えるまで処理を一時停止します。

処理中を示す表示など、 特定の画像が表示されなくなったことを確認してから 次のアクションへ進みたい場合に使用します。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目について説明します。「画面を読み込み」「操作対象にフォーカス」「背景色」については、アプリデザインの使い方をご確認ください。

1.基本設定

1-1.画像が見つかるまでのタイムアウト(秒)

設定した時間まで、指定した画像をロボットが探し続けます。

1-2.判定方法

指定した画像をロボットが探しに行くときの判定方法を設定します。こちらでも説明しています

・見た目で判定

指定した画像の見た目を使って、画面上から画像を探します。

・特徴で判定

指定した画像の特徴を使って、画面上から画像を探します。

1-3.画像一致率

指定した画像とアプリ画面上の画像を、どの程度一致したときに同じ画像と判定するか設定します。一致率を高くすると判定は厳しくなります。対象画像が表示されているのに見つからない場合は、設定値が高すぎないか確認してください。画像一致率の右側には、現在の一致率が%で表示されます。

1-4.この範囲で探す(範囲指定方法)

指定した画像を探す範囲を設定します。デフォルトでは接続中のアプリ全体から探します。

・座標

接続中のアプリ全体から探す範囲を座標で設定します。

・比率

接続中のアプリ全体から探す範囲を比率で設定します。

・全体

接続中のアプリ全体から探します。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1.エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3.エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。


「画像が消えるまで待つ」とは

「画像が消えるまで待つ」では、 あらかじめ指定した画像がアプリ画面内から消えるまで、 ロボットの処理を一時停止します。

指定した画像が表示されなくなったことを確認してから、 次のアクションへ進みたい場合に使用します。

「画像が出るまで待つ」と「画像が消えるまで待つ」の違い

どちらも画像マッチングを使って 処理を待機するアクションですが、 待機を終了する条件が異なります。

アクション待機する条件
画像が出るまで待つ指定した画像が画面内に表示されるまで待ちます。
画像が消えるまで待つ指定した画像が画面内から消えるまで待ちます。

「何かが表示されたら次へ進む」のか、 「何かが表示されなくなったら次へ進む」のかによって 使い分けます。

決まった時間待つ場合との違い

「画像が消えるまで待つ」は、 単純に一定時間だけ処理を停止するアクションではありません。

指定した画像を画面上から探しながら、 その画像が表示されなくなるのを待ちます。

処理時間が毎回一定ではなく、 特定の表示が消えたことを 次の処理へ進む目安にしたい場合などに使用できます。

画像の判定方法を設定する

「判定方法」では、 待機対象として指定した画像を どの方法で探すか設定します。

判定方法内容
見た目で判定指定した画像の見た目を使って画面上から探します。
特徴で判定指定した画像の特徴を使って画面上から探します。

画像の有無を正しく判定できない場合は、 判定方法が対象画像に合っているか確認してください。

画像一致率を確認する

「画像一致率」では、 指定した画像とアプリ画面上の画像を どの程度一致したときに同じ画像と判定するかを設定します。

一致率を高くすると判定の正確性は高くなりますが、 設定を厳しくしすぎると、 対象画像が実際には表示されていても 画像がないと判定される場合があります。

現在の一致率も表示されるため、 実際の認識状態を確認しながら設定してください。

画像を探す範囲を指定する

「この範囲で探す」では、 待機対象となる画像を検索する範囲を設定できます。

デフォルトでは、 接続中のアプリ全体から指定した画像を探します。

範囲指定方法内容
座標接続中のアプリ内の検索範囲を座標で指定します。
比率接続中のアプリ内の検索範囲を比率で指定します。
全体接続中のアプリ全体から画像を探します。

同じような画像が画面内の別の場所にも表示される場合は、 画像を探す範囲を限定できないか確認してください。

画像を探す時間を確認する

「画像が見つかるまでのタイムアウト(秒)」では、 設定した時間まで指定した画像を探し続けます。

対象となるアプリの処理や画面表示に時間がかかる場合は、 タイムアウト時間の設定も確認してください。

画像が消えたと判定されない場合

指定した画像が消えたあとも 想定どおり次の処理へ進まない場合は、 画像マッチングの設定を確認してください。

また、 画像がまだ表示されているのに 消えたものとして処理が進むように見える場合も、 画像を正しく認識できているか確認してください。

確認するときは、 次の点を見直してください。

  1. 操作対象となるアプリへ正しく接続しているか
  2. アプリデザインに最新の画面が表示されているか
  3. 待機条件として指定した画像が実際の画面と合っているか
  4. 「見た目で判定」と「特徴で判定」のどちらが対象画像に適しているか
  5. 画像一致率が厳しすぎないか
  6. 「この範囲で探す」の検索範囲が正しいか
  7. 対象画面の処理に時間がかかる場合はタイムアウト時間が適切か

画像マッチングの判定方法や画像一致率については、 「【画像】マウス操作」の説明もあわせて確認してください。

関連するアプリ操作・FAQ

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。