★アクションの説明、概要
JobAutoで指定した文字がアプリ画面から消えるまで、 ロボットの処理を待機させる方法について説明します。
「指定の文字が消えるまで待つ」アクションでは、 アプリ画面をOCRで解析し、 指定した文字が画面内から表示されなくなるまで 処理を一時停止します。
処理中を示す文字やメッセージなど、 特定の文字が表示されなくなったことを確認してから 次のアクションへ進みたい場合に使用します。
文字認識にはGoogleのAPIを使用します。 OCR変換する文字はJobAutoからGoogleへ送信されるため、 インターネットへの接続が必要です。
インターネット接続にプロキシサーバを使用している環境では、 プロキシの設定を行ってください。 また、インターネットへのアクセス先を制限している場合は、 vision.googleapis.comへの通信を許可してください。
★アクションの作成方法
★アクションの設定画面について
アクション設定画面の設定項目について説明します。「画面を読み込み」「操作対象にフォーカス」「背景色」については、アプリデザインの使い方をご確認ください。
１．基本設定
１－１．文字が見つかるまでのタイムアウト（秒）
設定した時間まで、指定した文字をロボットが探し続けます。
１－２．対象となる値
画面内から探す文字を設定します。対象となる値には変数を使用できます。
・検索ボタン 
対象となる値に設定された文字を画面内から探します。
１－３．プロキシ
Googleへの通信を行うときに、プロキシサーバを経由するかどうかを設定します。
・Proxyを使用する
プロキシサーバを経由してGoogleへ通信します。
・Proxyを使用しない
プロキシサーバを経由せずGoogleへ通信します。
１－４．変換時のオプション
OCRで変換するときに優先する言語を設定します。
・日本語を優先しない
日本語を優先せずにOCR変換します。
・日本語を優先する
日本語を優先してOCR変換します。
２．高度な設定
２－１．アクション有効
このアクションを無効にする場合は、チェックを外します。
３．エラー発生時の対応
３－１．エラー時の処理
エラーが発生したときの設定を行います。詳細はこちらをご確認ください。
３－２．基点となる条件分岐
エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。
３－３．エラー時にログ出力
エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。
「指定の文字が消えるまで待つ」とは
「指定の文字が消えるまで待つ」では、 アプリ画面をOCRで解析し、 あらかじめ指定した文字が表示されなくなるまで ロボットの処理を一時停止します。
指定した文字が画面から消えたことを確認してから、 次のアクションへ進みたい場合に使用します。
「指定の文字が出るまで待つ」との違い
どちらもOCRを使って 画面上の文字を待機条件にするアクションですが、 待機を終了する条件が異なります。
| アクション | 待機を終了する条件 |
|---|---|
| 指定の文字が出るまで待つ | 指定した文字が画面内に表示されたときに待機を終了します。 |
| 指定の文字が消えるまで待つ | 指定した文字が画面内から表示されなくなったときに待機を終了します。 |
「文字が表示されたら次へ進む」のか、 「文字が表示されなくなったら次へ進む」のかによって 使い分けてください。
決まった時間待つ場合との違い
「指定の文字が消えるまで待つ」は、 単純に一定時間だけ処理を停止するアクションではありません。
設定したタイムアウト時間まで 指定した文字をOCRで探し、 その文字が表示されなくなるのを待ちます。
処理時間が毎回一定ではなく、 特定の文字が消えたことを 次の処理へ進む条件にしたい場合などに使用できます。
消えるのを待つ文字を指定する
「対象となる値」には、 画面内から探す文字を設定します。
対象となる値は変数参照できます。 前の処理で取得した値などを変数へ格納し、 その文字が表示されなくなるまで待機することもできます。
待機対象の文字をOCRで認識できるか確認する
「対象となる値」の検索ボタンを使用すると、 設定した文字を現在のアプリ画面から探すことができます。
アクションを作成するときは、 待機対象の文字が画面に表示されている状態で検索ボタンを使い、 JobAutoがその文字を認識できるか確認してください。
日本語を優先して文字を認識する
「変換時のオプション」では、 OCR変換するときに日本語を優先するか設定できます。
| 設定 | 動作 |
|---|---|
| 日本語を優先しない | 日本語を優先せずにOCR変換します。 |
| 日本語を優先する | 日本語を優先してOCR変換します。 |
日本語の文字を待機条件として使用する場合は、 検索ボタンでの認識結果とあわせて設定を確認してください。
文字認識ではGoogleとの通信が発生します
「指定の文字が消えるまで待つ」では、 OCR変換にGoogleのAPIを使用します。
OCR変換する文字はJobAutoからGoogleへ送信されるため、 このアクションを実行するには インターネットへの接続が必要です。
インターネットへのアクセス先を制限している環境では、 vision.googleapis.comへの通信を許可してください。
プロキシ環境で使用する場合
インターネット接続にプロキシサーバを使用している環境では、 「プロキシ」の設定を確認してください。
| 設定 | 動作 |
|---|---|
| Proxyを使用する | プロキシサーバを経由してGoogleへ通信します。 |
| Proxyを使用しない | プロキシサーバを経由せずGoogleへ通信します。 |
「画像が消えるまで待つ」との違い
「指定の文字が消えるまで待つ」と 「画像が消えるまで待つ」は、 どちらも特定の表示がなくなるまで待機しますが、 表示を認識する方法が異なります。
| アクション | 待機条件の認識方法 |
|---|---|
| 指定の文字が消えるまで待つ | 画面上の文字をOCRで認識します。 |
| 画像が消えるまで待つ | 画面上の画像を使って認識します。 |
待機対象を特定できる文字が画面に表示されている場合は、 文字マッチングを利用できるか確認してください。
文字が消えても次の処理へ進まない場合
待機対象の文字が画面から消えたように見えても 次の処理へ進まない場合は、 まずOCRでその文字をどのように認識しているか確認してください。
また、 指定した文字がまだ表示されているのに 消えたものとして処理が進む場合も、 OCRが待機対象の文字を正しく認識できているか確認してください。
想定どおりに待機が終了しない場合は、 次の点を確認してください。
- 操作対象となるアプリへ正しく接続しているか
- アプリデザインに最新の画面が表示されているか
- 「対象となる値」が待機対象の文字と合っているか
- 待機対象の文字が表示されている状態で検索ボタンから認識できるか
- 日本語の場合は「日本語を優先する」の設定が適切か
- インターネットへ接続できるか
- プロキシ環境ではプロキシ設定が適切か
- vision.googleapis.comへの通信が制限されていないか
- 画面処理に時間がかかる場合はタイムアウト時間が適切か
[…] ・マッチング方式に文字を追加以下のアクションを追加。 ＞指定の文字に対してマウス操作 ＞指定の文字が出るまで待つ ＞指定の文字が消えるまで待つ […]
[…] ・マッチング方式に文字を追加、以下のアクションを追加。 ＞指定の文字に対してマウス操作 ＞指定の文字が出るまで待つ ＞指定の文字が消えるまで待つ […]
[…] 指定の文字が消えるまで待つ […]