JobAutoで指定した文字に対してマウス操作する方法

★アクションの説明、概要

JobAutoでアプリ画面に表示されている文字を指定し、 その文字に対してマウス操作を行う方法について説明します。

「指定の文字に対してマウス操作」アクションでは、 アプリ画面をOCRで解析し、 指定した文字を画面内から探してマウス操作を行います。

クリック、ダブルクリック、右クリック、マウス移動のほか、 マウスダウン・マウスアップ、 上スクロール・下スクロールなどを設定できます。

文字認識にはGoogleのAPIを使用します。 OCR変換する文字はJobAutoからGoogleへ送信されるため、 インターネットへの接続が必要です。

インターネット接続にプロキシサーバを使用している環境では、 プロキシの設定を行ってください。 また、インターネットへのアクセス先を制限している場合は、 vision.googleapis.comへの通信を許可してください。

---

★アクションの作成方法

---

★アクションの設定画面について

アクション設定画面の設定項目について説明します。「画面を読み込み」「操作対象にフォーカス」「背景色」については、アプリデザインの使い方をご確認ください。

１．基本設定

１－１．文字が見つかるまでのタイムアウト（秒）

設定した時間まで、指定した文字をロボットが探し続けます。

１－２．クリックパターン

クリックの種類を選択します。

・クリック

マウスのクリックを行います。

・ダブルクリック

マウスのダブルクリックを行います。

・右クリック

マウスの右クリックを行います。

・マウス移動

カーソルを移動します。

・マウスダウン

マウスの左ボタンを押した状態にします。

・マウスアップ

押した状態になっているマウスの左ボタンを離します。

・上スクロール

マウスを使って上にスクロールします。

・下スクロール

マウスを使って下にスクロールします。

１－３．対象となる値

画面内から探す文字を設定します。対象となる値には変数を使用できます。

・検索ボタン

対象となる値に設定された文字を画面内から探します。

１－４．インデックス

同じ文字が画面内に複数ある場合に、何番目の文字を操作するか指定します。インデックスは0から始まるため、1番目の文字を指定する場合は「0」を設定します。

１－５．クリック位置

指定した文字のクリック位置を座標で設定します。

・X

クリック位置のX座標を設定します。X座標には変数を使用できます。

・Y

クリック位置のY座標を設定します。Y座標には変数を使用できます。

１－６．プロキシ

Googleへの通信を行うときに、プロキシサーバを経由するかどうかを設定します。

・Proxyを使用する

プロキシサーバを経由してGoogleへ通信します。

・Proxyを使用しない

プロキシサーバを経由せずGoogleへ通信します。

１－７．変換時のオプション

OCRで変換するときに優先する言語を設定します。

・日本語を優先しない

日本語を優先せずにOCR変換します。

・日本語を優先する

日本語を優先してOCR変換します。

１－８．見つかった文字一覧

対象となる値へ設定した文字が画面内にあるか、検索ボタンで探すことができます。このときOCRで解析した結果が表示されます。対象となる値へ設定しなおすときの参考にしてください。

---

２．高度な設定

２－１．アクション有効

このアクションを無効にする場合は、チェックを外します。

２－２．一致したイメージショットをログに残す

チェックを入れた状態でスケジュール実行すると、実行ログに処理対象として認識した文字が画像として表示されます。

---

３．エラー発生時の対応

３－１．エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

３－２．基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

３－３．エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

---

文字マッチングでアプリをマウス操作する

「指定の文字に対してマウス操作」では、 アプリ画面上に表示されている文字をOCRで認識し、 指定した文字に対してマウス操作を行います。

ボタンやメニューなどに表示されている文字を使って 操作箇所を特定したい場合に使用します。

要素・画像・文字マッチングの違い

JobAutoのアプリ操作では、 操作箇所を認識する方法として 要素、画像、文字などのマッチング方式があります。

マッチング方式	操作対象の認識方法
要素	アプリ内の要素を使って操作対象を認識します。
文字	画面上に表示されている文字をOCRで認識します。
画像	画面上の画像を使って操作対象を認識します。

操作する箇所を要素として認識できる場合は、 まず要素マッチングで操作できるか確認します。

要素として操作することが難しく、 画面上に操作対象を特定できる文字が表示されている場合は、 文字マッチングによる操作を検討してください。

画面内から探す文字を指定する

「対象となる値」には、 アプリ画面内から探す文字を設定します。

対象となる値は変数参照できます。 前の処理で取得した値などを変数へ格納し、 その文字を操作対象として使用することもできます。

OCRが認識した文字を確認する

検索ボタンを使用すると、 「対象となる値」に設定した文字を 現在のアプリ画面から探すことができます。

また、 「見つかった文字一覧」には OCRで解析された文字が表示されます。

画面上には目的の文字が表示されているのに JobAutoで見つけられない場合は、 OCRがその文字をどのように認識しているか確認してください。

OCRの解析結果を確認し、 必要に応じて「対象となる値」の設定を見直します。

同じ文字が複数表示されている場合

「対象となる値」だけでは 操作する文字を1つに絞り込めない場合は、 「インデックス」を使用します。

インデックスは0から始まるため、 1番目の文字を指定する場合は「0」を設定します。

文字に対するクリック位置を指定する

「クリック位置」では、 見つかった文字のどの位置をクリックするかを X座標・Y座標で設定します。

X座標とY座標は、 変数参照することもできます。

日本語を優先して文字を認識する

「変換時のオプション」では、 OCR変換するときに日本語を優先するか設定できます。

設定	動作
日本語を優先しない	日本語を優先せずにOCR変換します。
日本語を優先する	日本語を優先してOCR変換します。

日本語を含む画面で目的の文字を認識できない場合は、 OCRの解析結果とあわせて 「日本語を優先する」の設定も確認してください。

文字認識ではGoogleとの通信が発生します

文字マッチングでは、 OCR変換にGoogleのAPIを使用します。

OCR変換する文字はJobAutoからGoogleへ送信されるため、 このアクションを実行するには インターネットへの接続が必要です。

インターネットへのアクセス先を制限している環境では、 vision.googleapis.comへの通信を許可してください。

プロキシ環境で文字マッチングを使用する場合

インターネット接続にプロキシサーバを使用している環境では、 「プロキシ」の設定を確認してください。

設定	動作
Proxyを使用する	プロキシサーバを経由してGoogleへ通信します。
Proxyを使用しない	プロキシサーバを経由せずGoogleへ通信します。

スケジュール実行時に認識した文字を確認する

高度な設定の 「一致したイメージショットをログに残す」を有効にすると、 スケジュール実行時のログに 処理対象として認識した文字が画像として表示されます。

想定とは異なる文字を操作している場合などは、 ログに残された画像も確認してください。

指定した文字が見つからない場合

画面上に目的の文字が表示されているのに JobAutoで見つけられない場合は、 次の点を確認してください。

1. 操作対象となるアプリへ正しく接続しているか
2. アプリデザインに最新の画面が表示されているか
3. 検索ボタンで目的の文字を認識できるか
4. 「見つかった文字一覧」でOCRの解析結果を確認したか
5. 「対象となる値」がOCRの解析結果に合っているか
6. 同じ文字が複数ある場合はインデックスが適切か
7. 日本語を含む場合は「日本語を優先する」の設定が適切か
8. インターネットへ接続できるか
9. プロキシ環境ではプロキシ設定が適切か
10. vision.googleapis.comへの通信が制限されていないか
11. 文字の表示に時間がかかる場合はタイムアウト時間が適切か

関連するアプリ操作・FAQ

• 指定の文字が出るまで待つ
• 指定の文字が消えるまで待つ
• JobAutoでアプリの要素をマウス操作する方法
• JobAutoで画像を指定してマウス操作する方法
• 指定範囲内の文字をマウス操作する方法