★アクションの説明、概要
JobAutoで指定した文字がアプリ画面に表示されるまで、 ロボットの処理を待機させる方法について説明します。
「指定の文字が出るまで待つ」アクションでは、 アプリ画面をOCRで解析し、 指定した文字が画面内に表示されるまで処理を一時停止します。
画面の読み込みや処理の完了などによって 特定の文字が表示されるのを待ってから、 次のアクションへ進みたい場合に使用します。
文字認識にはGoogleのAPIを使用します。 OCR変換する文字はJobAutoからGoogleへ送信されるため、 インターネットへの接続が必要です。
インターネット接続にプロキシサーバを使用している環境では、 プロキシの設定を行ってください。 また、インターネットへのアクセス先を制限している場合は、 vision.googleapis.comへの通信を許可してください。
★アクションの作成方法
★アクションの設定画面について
アクション設定画面の設定項目について説明します。「画面を読み込み」「操作対象にフォーカス」「背景色」については、アプリデザインの使い方をご確認ください。
１．基本設定
１－１．文字が見つかるまでのタイムアウト（秒）
設定した時間まで、指定した文字をロボットが探し続けます。
１－２．対象となる値
画面内から探す文字を設定します。対象となる値には変数を使用できます。
・検索ボタン 
対象となる値に設定された文字を画面内から探します。
１－３．プロキシ
Googleへの通信を行うときに、プロキシサーバを経由するかどうかを設定します。
・Proxyを使用する
プロキシサーバを経由してGoogleへ通信します。
・Proxyを使用しない
プロキシサーバを経由せずGoogleへ通信します。
１－４．変換時のオプション
OCRで変換するときに優先する言語を設定します。
・日本語を優先しない
日本語を優先せずにOCR変換します。
・日本語を優先する
日本語を優先してOCR変換します。
２．高度な設定
２－１．アクション有効
このアクションを無効にする場合は、チェックを外します。
２－２．一致したイメージショットをログに残す
チェックを入れた状態でスケジュール実行すると、実行ログに処理対象として認識した文字が画像として表示されます。
３．エラー発生時の対応
３－１．エラー時の処理
エラーが発生したときの設定を行います。詳細はこちらをご確認ください。
３－２．基点となる条件分岐
エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。
３－３．エラー時にログ出力
エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。
「指定の文字が出るまで待つ」とは
「指定の文字が出るまで待つ」では、 アプリ画面をOCRで解析し、 あらかじめ指定した文字が表示されるまで ロボットの処理を一時停止します。
指定した文字が表示されたことを確認してから 次のアクションへ進みたい場合に使用します。
決まった時間待つ場合との違い
「指定の文字が出るまで待つ」は、 単純に一定時間だけ処理を停止するアクションではありません。
設定したタイムアウト時間まで、 指定した文字をOCRで探しながら待機します。
画面の表示にかかる時間が毎回異なる場合など、 特定の文字が表示されたことを 次の処理へ進む条件として使用できます。
待機条件となる文字を指定する
「対象となる値」には、 アプリ画面内から探す文字を設定します。
対象となる値は変数参照できます。 前の処理で取得した値などを変数へ格納し、 その文字が表示されるまで待機することもできます。
指定した文字をOCRで認識できるか確認する
「対象となる値」の検索ボタンを使用すると、 設定した文字を現在のアプリ画面から探すことができます。
画面上に目的の文字が表示されている場合は、 アクションを作成するときに検索ボタンを使い、 JobAutoがその文字を認識できるか確認してください。
日本語を優先して文字を認識する
「変換時のオプション」では、 OCR変換するときに日本語を優先するか設定できます。
| 設定 | 動作 |
|---|---|
| 日本語を優先しない | 日本語を優先せずにOCR変換します。 |
| 日本語を優先する | 日本語を優先してOCR変換します。 |
日本語の文字を待機条件としている場合は、 実際の認識結果を確認しながら設定してください。
文字認識ではGoogleとの通信が発生します
「指定の文字が出るまで待つ」では、 OCR変換にGoogleのAPIを使用します。
OCR変換する文字はJobAutoからGoogleへ送信されるため、 このアクションを実行するには インターネットへの接続が必要です。
インターネットへのアクセス先を制限している環境では、 vision.googleapis.comへの通信を許可してください。
プロキシ環境で使用する場合
インターネット接続にプロキシサーバを使用している環境では、 「プロキシ」の設定を確認してください。
| 設定 | 動作 |
|---|---|
| Proxyを使用する | プロキシサーバを経由してGoogleへ通信します。 |
| Proxyを使用しない | プロキシサーバを経由せずGoogleへ通信します。 |
スケジュール実行時に認識した文字を確認する
高度な設定の 「一致したイメージショットをログに残す」を有効にすると、 スケジュール実行時のログに 処理対象として認識した文字がイメージとして表示されます。
想定した文字とは異なる箇所を認識して 次の処理へ進んでいる場合などは、 ログに残されたイメージも確認してください。
「画像が出るまで待つ」との違い
「指定の文字が出るまで待つ」と 「画像が出るまで待つ」は、 どちらも特定の表示を待ってから 次の処理へ進むためのアクションですが、 待機条件の認識方法が異なります。
| アクション | 待機条件の認識方法 |
|---|---|
| 指定の文字が出るまで待つ | 画面上の文字をOCRで認識して待機します。 |
| 画像が出るまで待つ | 画面上の画像を使って待機します。 |
待機条件として使用できる文字が画面に表示されている場合は、 文字マッチングを利用できるか確認してください。
指定した文字が見つからない場合
画面上に目的の文字が表示されているのに 待機が終了しない場合は、 次の点を確認してください。
- 操作対象となるアプリへ正しく接続しているか
- アプリデザインに最新の画面が表示されているか
- 「対象となる値」が実際に画面へ表示されている文字と合っているか
- 検索ボタンで目的の文字を認識できるか
- 日本語を含む場合は「日本語を優先する」の設定が適切か
- インターネットへ接続できるか
- プロキシ環境ではプロキシ設定が適切か
- vision.googleapis.comへの通信が制限されていないか
- 文字の表示に時間がかかる場合はタイムアウト時間が適切か