★アクションの説明、概要
JobAutoで表として認識したアプリ画面の 行番号・列番号を指定し、 その位置から値を取得する方法について説明します。
「【表】値取得」アクションでは、 表内の値を取得したい位置を行番号と列番号で指定し、 取得した値を変数へ格納します。
値の取得方法は、 指定した表の位置を画像として読み取りOCR変換する 「OCR読み込み」と、 マウスとキーボードを使って対象を選択・コピーする方法から選択できます。
行番号・列番号は変数参照できるため、 取得する行や列を処理の途中で切り替えながら 表の値を取得することもできます。
このアクションを使用する前に、 「【要素】表として操作する」または 「【画像】表として操作する」などを使って、 操作対象を表として認識させます。
★アクションの作成方法
★アクションの設定画面について
アクション設定画面の設定項目について説明します。「画面を読み込み」「操作対象にフォーカス」「背景色」については、アプリデザインの使い方をご確認ください。
１．基本設定
１－１．行番号
表内の何行目から値を取得するか設定します。行番号には変数を使用できます。
１－２．列番号
表内の何列目から値を取得するか設定します。列番号には変数を使用できます。
１－３．格納先
取得した値を格納する変数を設定します。
１－４．値取得方式
値を取得する方式を設定します。
・OCR読み込み
表内の指定した位置を画像として読み取り、OCR変換して文字を取得します。
OCR変換にはGoogleのAPIを使用します。OCR変換する文字はJobAutoからGoogleへ送信されるため、インターネットへの接続が必要です。プロキシサーバを使用している環境では、プロキシを設定してください。
またインターネットでアクセス先のドメインに制限がかかっている場合はvision.googleapis.comの制限を解除してください。
・取得値
OCR変換した結果が表示されます。
プロキシ
Googleへの通信を行うときに、プロキシサーバを経由するかどうかを設定します。
・Proxyを使用する
プロキシサーバを経由してGoogleへ通信します。
・Proxyを使用しない
プロキシサーバを経由せずGoogleへ通信します。
変換時のオプション
OCRで変換するときに優先する言語を設定します。
・日本語を優先しない
日本語を優先せずにOCR変換します。
・日本語を優先する
日本語を優先してOCR変換します。
・マウスとキーボード操作
表内の指定した位置から、マウスとキーボード操作を使って値を取得します。
ステップ１ クリック操作
設定した表の場所を選択するときの方法を選択します。
・クリック
クリックして選択します。
・ダブルクリック
ダブルクリックして選択します。
ステップ２ キー送信 全選択
選択した箇所にキーを送信するかを選択します。
・Ctrl+A
選択中の箇所を全選択します。
・何もしない
なにもしません。
ステップ３ キー送信 コピー
・Ctrl＋C後クリップボードから取得
選択した箇所をコピーし、クリップボードから設定した変数に格納します。
・何もしない
なにもしません。
ステップ４ キー送信 エスケープ
値を取得後の操作を設定します。
・ESCキー
ESCキーを送信します。
・何もしない
なにもしません。
２．高度な設定
２－１．アクション有効
このアクションを無効にする場合は、チェックを外します。
２－２．事前に表を再読み込み
このアクションを実行する直前に表を再読み込みする場合は、チェックを入れます。
３．エラー発生時の対応
３－１．エラー時の処理
エラーが発生したときの設定を行います。詳細はこちらをご確認ください。
３－２．基点となる条件分岐
エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。
３－３．エラー時にログ出力
エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。
表内の行と列を指定して値を取得する
「【表】値取得」では、 表として認識した範囲の行番号・列番号を指定し、 その位置から値を取得します。
取得した値は、 「格納先」で指定した変数へ格納します。
表形式アクションを使うまでの流れ
表形式で値を取得する場合は、 最初に操作対象となる範囲を JobAutoに表として認識させます。
表として認識する方法には、 「【要素】表として操作する」と 「【画像】表として操作する」があります。
表として認識したあとは、 「【表】値取得」で行番号・列番号を指定し、 目的の位置から値を取得します。
行番号と列番号で取得する位置を指定する
「行番号」では、 表内の何行目から値を取得するか設定します。
「列番号」では、 表内の何列目から値を取得するか設定します。
行番号・列番号はいずれも変数参照できます。 そのため、 取得する行や列を変数で切り替えながら 表の値を取得することもできます。
取得した値を変数へ格納する
「格納先」では、 取得した値を保存する変数を設定します。
変数へ格納した値は、 後続の条件分岐や値入力などの処理で利用できます。
値取得方式を選択する
「【表】値取得」では、 値の取得方式を選択できます。
| 値取得方式 | 取得方法 |
|---|---|
| OCR読み込み | 表の指定した位置を画像として読み取り、OCR変換して文字を取得します。 |
| マウスとキーボード操作 | 表の指定した位置をマウスで選択し、キーボード操作などを使って値を取得します。 |
OCR読み込みで値を取得する
「OCR読み込み」では、 設定した表の位置から画像として文字を取得し、 OCRで文字へ変換します。
OCR変換した結果は、 「取得値」で確認できます。
目的の値を正しく取得できているか、 実際の取得結果を確認してください。
日本語を優先してOCR変換する
「変換時のオプション」では、 OCR変換するときに日本語を優先するか設定できます。
| 設定 | 動作 |
|---|---|
| 日本語を優先しない | 日本語を優先せずにOCR変換します。 |
| 日本語を優先する | 日本語を優先してOCR変換します。 |
日本語を含む表から値を取得する場合は、 実際の取得値を確認しながら設定してください。
OCR読み込みではGoogleとの通信が発生します
OCR変換にはGoogleのAPIを使用します。
OCR変換する文字はJobAutoからGoogleへ送信されるため、 OCR読み込みを利用するには インターネットへの接続が必要です。
インターネットへのアクセス先を制限している環境では、 vision.googleapis.comへの通信を許可してください。
プロキシ環境でOCR読み込みを使用する場合
インターネット接続にプロキシサーバを使用している環境では、 「プロキシ」の設定を確認してください。
| 設定 | 動作 |
|---|---|
| Proxyを使用する | プロキシサーバを経由してGoogleへ通信します。 |
| Proxyを使用しない | プロキシサーバを経由せずGoogleへ通信します。 |
マウスとキーボード操作で値を取得する
「マウスとキーボード操作」では、 設定した表の位置をマウスで選択し、 キーボード操作を使って値を取得します。
値取得は、 クリック操作、全選択、コピー、 値取得後の操作という順に設定します。
クリック操作
表の指定位置を選択するときの方法として、 「クリック」または「ダブルクリック」を設定します。
全選択
選択した箇所にCtrl＋Aを送信して 全選択するか、 何もしないかを設定します。
コピー
「Ctrl＋C後クリップボードから取得」を設定すると、 選択した箇所をコピーし、 クリップボードから取得した値を 設定した変数へ格納します。
値取得後の操作
値を取得したあとに ESCキーを送信するか、 何もしないかを設定します。
操作する直前に表を再読み込みする
高度な設定の 「事前に表を再読み込み」を有効にすると、 「【表】値取得」を実行する直前に 表を再読み込みします。
前の処理によって表の内容が変化している場合などは、 現在認識している表の状態と 実際の画面が合っているか確認してください。
「【表】マウス操作」「【表】値入力」との違い
| アクション | 用途 |
|---|---|
| 【表】マウス操作 | 表内の指定した位置へマウス操作を行います。 |
| 【表】値取得 | 表内の指定した位置から値を取得して変数へ格納します。 |
| 【表】値入力 | 表内の指定した位置へ値を入力します。 |
【画像】表として操作したあとの値取得について
「【画像】表として操作する」を使って表として認識したあとに 「【表】値取得」を作成した場合は、 現在のJobAutoではアプリデザインの 「操作対象にフォーカス」を使用できません。
画像から表として認識した場合は、 この点に注意して取得位置を確認してください。
表から値を正しく取得できない場合
目的の値を取得できない場合は、 次の点を確認してください。
- 操作対象となる範囲を正しく表として認識できているか
- 行番号が取得したい位置に合っているか
- 列番号が取得したい位置に合っているか
- 行番号・列番号を変数参照している場合は、変数の値が想定どおりか
- OCR読み込みの場合は「取得値」に目的の文字が表示されているか
- 日本語の場合は「日本語を優先する」の設定が適切か
- OCR読み込みの場合はインターネットやプロキシ、vision.googleapis.comへの通信に問題がないか
- マウスとキーボード操作の場合は、クリック・全選択・コピーの設定が対象アプリに合っているか
- 表の内容が変化している場合は、事前に表を再読み込みする必要がないか