JobAutoで指定範囲の文字をOCR変換する方法

★アクションの説明、概要

JobAutoでアプリ画面の範囲を指定し、 その範囲内に表示されている文字をOCRで取得する方法について説明します。

「文字変換」アクションでは、 要素マッチングで操作箇所として指定できない場合などに、 文字を取得したい範囲を画面上で指定し、 その範囲内の文字をOCR変換します。

OCR変換した結果は、 指定した変数へ格納できます。

文字認識にはGoogleのAPIを使用します。 OCR変換する文字はJobAutoからGoogleへ送信されるため、 インターネットへの接続が必要です。

インターネット接続にプロキシサーバを使用している環境では、 プロキシの設定を行ってください。 また、インターネットへのアクセス先を制限している場合は、 vision.googleapis.comへの通信を許可してください。

---

★アクションの作成方法

---

★アクションの設定画面について

アクション設定画面の設定項目について説明します。「画面を読み込み」「操作対象にフォーカス」「背景色」については、アプリデザインの使い方をご確認ください。

１．基本設定

１－１．格納先

取得した値を格納する変数を設定します。

１－２．取得値 

マウスで指定した範囲内の文字をOCR変換した結果が表示されます。

１－３．位置評価方法

OCR対象として指定した範囲を、画面内でどのように指定するか設定します。

・座標

画面内の座標で指定します。

・比率

画面内の比率で指定します。

１－４．プロキシ

Googleへの通信を行うときに、プロキシサーバを経由するかどうかを設定します。

・Proxyを使用する

プロキシサーバを経由してGoogleへ通信します。

・Proxyを使用しない

プロキシサーバを経由せずGoogleへ通信します。

１－５．変換時のオプション

OCRで変換するときに優先する言語を設定します。

・日本語を優先しない

日本語を優先せずにOCR変換します。

・日本語を優先する

日本語を優先してOCR変換します。

---

２．高度な設定

２－１．アクション有効

このアクションを無効にする場合は、チェックを外します。

---

３．エラー発生時の対応

３－１．エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

３－２．基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

３－３．エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

---

画面の指定範囲をOCRで文字に変換する

「文字変換」では、 アプリ画面上で文字を取得したい範囲を指定し、 その範囲内に表示されている文字をOCRで取得します。

要素マッチングでは操作箇所として指定できない場所から 画面上の文字を取得したい場合などに使用します。

OCR変換した結果を変数へ格納する

OCR変換した結果は、 「格納先」で指定した変数へ格納します。

取得した文字は、 後続の条件分岐や値の判定、 ほかのアクションなどで利用できます。

OCR変換した結果を確認する

「取得値」には、 マウスで指定した範囲内の文字を OCR変換した結果が表示されます。

目的の文字を取得できているか確認し、 必要に応じてOCR対象として指定する範囲を見直してください。

OCRする範囲の位置を指定する

「位置評価方法」では、 OCRするために指定した範囲が 画面内のどの位置にあたるかを設定します。

位置評価方法	内容
座標	画面内の座標を使って範囲を指定します。
比率	画面内の比率を使って範囲を指定します。

実際に取得される文字を確認しながら、 OCR対象となる範囲を設定してください。

「【要素】文字変換」と「【文字】文字変換」の違い

JobAutoには、 要素マッチングと文字マッチングの両方に 文字変換のアクションがあります。

アクション	OCRする対象
【要素】文字変換	要素として指定した範囲内に表示されている文字をOCR変換します。
【文字】文字変換	画面上で指定した範囲内に表示されている文字をOCR変換します。

操作箇所を要素として指定できる場合は、 「【要素】文字変換」を利用できるか確認します。

要素マッチングでは指定できない箇所から 文字を取得したい場合は、 画面上で範囲を指定する「【文字】文字変換」を使用します。

日本語を優先してOCR変換する

「変換時のオプション」では、 OCR変換するときに日本語を優先するか設定できます。

設定	動作
日本語を優先しない	日本語を優先せずにOCR変換します。
日本語を優先する	日本語を優先してOCR変換します。

日本語が含まれる画面をOCR変換する場合は、 実際の取得値を確認しながら設定してください。

OCR変換ではGoogleとの通信が発生します

「文字変換」では、 OCR変換にGoogleのAPIを使用します。

OCR変換する文字はJobAutoからGoogleへ送信されるため、 このアクションを実行するには インターネットへの接続が必要です。

インターネットへのアクセス先を制限している環境では、 vision.googleapis.comへの通信を許可してください。

プロキシ環境でOCR変換する場合

インターネット接続にプロキシサーバを使用している環境では、 「プロキシ」の設定を確認してください。

設定	動作
Proxyを使用する	プロキシサーバを経由してGoogleへ通信します。
Proxyを使用しない	プロキシサーバを経由せずGoogleへ通信します。

想定した文字を取得できない場合

OCR変換した結果が想定していた内容と異なる場合は、 次の点を確認してください。

1. 操作対象となるアプリへ正しく接続しているか
2. アプリデザインに最新の画面が表示されているか
3. OCRする範囲に目的の文字が含まれているか
4. 「取得値」にどのような文字が表示されているか
5. 位置評価方法が目的の範囲に合っているか
6. 日本語の場合は「日本語を優先する」の設定が適切か
7. インターネットへ接続できるか
8. プロキシ環境ではプロキシ設定が適切か
9. vision.googleapis.comへの通信が制限されていないか

関連するアプリ操作・FAQ

• JobAutoでアプリの要素内の文字をOCR変換する方法
• JobAutoで指定した文字に対してマウス操作する方法
• JobAutoで指定した文字が出るまで待つ方法
• JobAutoで指定した文字が消えるまで待つ方法