JobAutoで指定した画像が出るまで待つ方法

★アクションの説明、概要

JobAutoで指定した画像がアプリ画面に表示されるまで、 ロボットの処理を待機させる方法について説明します。

「画像が出るまで待つ」アクションでは、 アプリデザインで待機条件となる箇所を画像として指定し、 その画像が画面内に表示されるまで処理を一時停止します。

画面の読み込みや処理の完了などによって 特定の表示が現れるのを待ってから、 次のアクションへ進みたい場合に使用します。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目について説明します。「画面を読み込み」「操作対象にフォーカス」「背景色」については、アプリデザインの使い方をご確認ください。

1.基本設定

1-1.画像が見つかるまでのタイムアウト(秒)

設定した時間まで、指定した画像をロボットが探し続けます。

1-2.判定方法

指定した画像をロボットが探しに行くときの判定方法を設定します。こちらでも説明しています

・見た目で判定

指定した画像の見た目を使って、画面上から画像を探します。

・特徴で判定

指定した画像の特徴を使って、画面上から画像を探します。

1-3.画像一致率

指定した画像とアプリ画面上の画像を、どの程度一致したときに画像があると判定するか設定します。一致率を高くすると判定は厳しくなります。画面上に対象画像が表示されていても見つからない場合は、設定値が高すぎないか確認してください。画像一致率の右側には、現在の一致率が%で表示されます。

1-4.この範囲で探す(範囲指定方法)

指定した画像を探す範囲を設定します。デフォルトでは接続中のアプリ全体から探します。

・座標

接続中のアプリ全体から探す範囲を座標で設定します。

・比率

接続中のアプリ全体から探す範囲を比率で設定します。

・全体

接続中のアプリ全体から探します。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.一致したイメージショットをログに残す

チェックを入れた状態でスケジュール実行すると、実行ログに処理対象となった画像が表示されます。


3.エラー発生時の対応

3-1.エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3.エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。


「画像が出るまで待つ」とは

「画像が出るまで待つ」では、 あらかじめ指定した画像がアプリ画面内に表示されるまで、 ロボットの処理を一時停止します。

指定した画像が表示されたことを確認してから 次のアクションへ進みたい場合に使用します。

決まった時間待つ場合との違い

「画像が出るまで待つ」は、 単純に一定時間だけ処理を止めるのではなく、 指定した画像を探しながら待機するアクションです。

画面の表示にかかる時間が毎回異なる場合など、 特定の画像が表示されたことを 次の処理へ進む目安として使用できます。

待機する画像の判定方法を設定する

「判定方法」では、 指定した画像をどの方法で探すかを設定します。

判定方法内容
見た目で判定指定した画像の見た目を使って画面上から探します。
特徴で判定指定した画像の特徴を使って画面上から探します。

画像を正しく検出できない場合は、 判定方法が対象画像に合っているか確認してください。

画像一致率を確認する

「画像一致率」では、 指定した画像とアプリ画面上の画像を どの程度一致したときに画像があると判定するかを設定します。

一致率を高くすると判定の正確性は高くなりますが、 設定を厳しくしすぎると、 画面上に対象画像が表示されていても 画像がないと判定される場合があります。

現在の一致率も表示されるため、 実際の認識状態を確認しながら設定してください。

画像を探す範囲を指定する

「この範囲で探す」では、 指定した画像を検索する範囲を設定できます。

デフォルトでは、 接続中のアプリ全体から画像を探します。

範囲指定方法内容
座標接続中のアプリ内の検索範囲を座標で指定します。
比率接続中のアプリ内の検索範囲を比率で指定します。
全体接続中のアプリ全体から画像を探します。

同じような画像が画面内に複数表示される場合などは、 画像を探す範囲を限定できないか確認してください。

画像を待つ時間を設定する

「画像が見つかるまでのタイムアウト(秒)」では、 指定した画像を探し続ける時間を設定します。

対象画面の表示に時間がかかる場合は、 実際の画面表示に合わせてタイムアウト時間を確認してください。

見つかった画像をログで確認する

高度な設定の 「一致したイメージショットをログに残す」を有効にすると、 スケジュール実行時のログに 処理対象となった画像が表示されます。

想定していた画像とは別の画像を認識していた場合など、 画像マッチングの動作を確認するときに利用できます。

「【画像】マウス操作」との違い

「【画像】マウス操作」と 「画像が出るまで待つ」は、 どちらも画像マッチングを使用しますが、 目的が異なります。

アクション目的
【画像】マウス操作見つけた画像に対してクリックなどのマウス操作を行います。
画像が出るまで待つ指定した画像が表示されるまで処理を待機します。

画像が表示されるのを待ったあと、 その画像をクリックする必要がある場合は、 後続の処理として「【画像】マウス操作」などを組み合わせます。

指定した画像が見つからない場合

指定した画像を正しく検出できない場合は、 次の点を確認してください。

  1. 操作対象となるアプリへ正しく接続しているか
  2. アプリデザインに最新の画面が表示されているか
  3. 待機条件として指定した画像が実際の画面と合っているか
  4. 「見た目で判定」と「特徴で判定」のどちらが対象画像に適しているか
  5. 画像一致率が厳しすぎないか
  6. 「この範囲で探す」の検索範囲が正しいか
  7. 対象画像の表示に時間がかかる場合はタイムアウト時間が適切か

画像マッチングの判定方法や一致率については、 「【画像】マウス操作」の説明もあわせて確認してください。

関連するアプリ操作・FAQ

1件のコメント

  1. […] ・マッチング方式が画像や文字の場合のマウス操作アクション。高度な設定に”クリック位置のイメージをログに残す”という選択肢を追加。【画像】マウス操作はこちらの2-2をご覧ください画像が出るまで待つはこちらの2-2をご覧ください指定の文字に対してマウス操作はこちらの2-2をご覧くださいこの範囲内の指定の文字に対してマウス操作はこちらの2-2をご覧ください […]

    返信

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。