★アクションの説明・概要
JobAutoのアプリデザインで、アプリ操作アクションのデフォルト設定を変更する方法について説明します。
アプリデザインでは、操作対象を認識するマッチング方式として「要素」「画像」「文字」「表形式」を使用できます。
デフォルト設定では、それぞれのマッチング方式で使用する基本設定や高度な設定、値入力方式、画像一致率、OCR、Proxyなどの初期設定を行います。
このページでは、4つのマッチング方式ごとに、変更できる設定項目と各選択肢の動作を説明します。
アプリデザインのデフォルト設定とは
アプリデザインのデフォルト設定は、新しく作成するアプリ操作アクションに適用する初期設定を指定する機能です。
あらかじめ設定しておくことで、アクションを作成するたびに同じ設定を繰り返し行う手間を減らせます。
デフォルト設定の変更は、変更後に新しく作成するアクションに適用されます。すでに作成済みのアクションには反映されません。
既存アクションの設定を変更したい場合は、対象のアクションを開き、個別に設定を変更してください。
デフォルト設定画面の構成
設定画面は、以下の4つのマッチング方式ごとのタブで構成されています。
| マッチング方式 | 主な設定項目 |
|---|---|
| 要素 | 最前面表示の待機、キャッシュクリア、値入力方式 |
| 画像 | 画像の判定方法、画像一致率、値入力方式 |
| 文字 | Googleへの通信時のProxy設定 |
| 表形式 | 表への値入力、値取得、OCR、マウス・キーボード操作 |
1．要素マッチングのデフォルト設定
各アクションのマッチング方式を「要素」にした場合の基本設定、高度な設定、および「【要素】値入力」アクションのデフォルト設定を行います。
1-1．基本設定
要素が最前面に表示されるまで待つ
選択した要素が最前面に表示されるまで、ロボットの処理を待機するか設定します。
待機する場合は、設定した時間を上限として、要素が最前面に表示されるまで処理を停止します。
- 待つ：選択した要素が最前面に表示されるまで待機します。
- 待たない：要素が最前面に表示されるまでの待機処理を行いません。
1-2．高度な設定
キャッシュクリア
JobAutoは処理速度を上げるため、取得した要素の情報を保持しています。
保持している要素情報をクリアし、要素を再取得する場合にチェックを入れます。
アプリケーションの画面表示が変化した後にアクションを実行する場合などに使用します。
1-3．【要素】値入力の設定
「【要素】値入力」アクションで使用する入力前の操作、入力方式、入力後の操作、行間の待ち時間を設定します。
入力前
値を入力する前に、入力対象の箇所をクリックするか設定します。基本的には「クリックする」を推奨します。
- クリックする：値を入力する前に対象箇所をクリックします。
- クリックしない：値を入力する前のクリック操作を行いません。
入力方式
値を入力する方式を設定します。基本的には「クリップボードからCtrl+V」の使用を推奨します。
- キーボード入力（直接入力）：キーボード操作によって値を入力します。入力する値が小文字の場合、キーボードがCaps Lockの状態でも小文字で入力されます。
- クリップボードからCtrl+V：入力する値をクリップボードにコピーし、Ctrl+Vで対象箇所へ貼り付けます。
注意：直接入力で「~」（チルダ）を使用する場合
「キーボード入力（直接入力）」では、「~」（チルダ）がEnterキーとして扱われます。
そのため、ファイル名や文字列に「~」が含まれている場合、Enterキーが送信され、入力が途中で終了することがあります。
「~」を入力する可能性がある場合は、「クリップボードからCtrl+V」を使用してください。
入力後
値を入力した後に、Enterキーを送信するか設定します。
- 入力する：値を入力した後にEnterキーを押します。
- 入力しない：値を入力した後にEnterキーを押しません。
行間の待ち時間
値を連続して入力する場合に、値を入力する間隔を設定します。
入力先のアプリケーションの処理に時間がかかる場合などに、入力間隔を調整するための設定です。
2．画像マッチングのデフォルト設定
各アクションのマッチング方式を「画像」にした場合の基本設定、および「【画像】値入力」アクションのデフォルト設定を行います。
2-1．基本設定
判定方法
指定した画像をアプリケーションの画面上から探すときの判定方法を設定します。
- 見た目で判定：指定した画像の見た目を使用して、画面上から画像を探します。
- 特徴で判定：指定した画像の特徴を使用して、画面上から画像を探します。
「見た目で判定」と「特徴で判定」では、画像を探す方法が異なります。
詳しくは、【アプリ操作】画像を探す方法、見た目で判定と特徴で判定の違いをご確認ください。
画像一致率
指定した画像とアプリケーションの画面上の画像が、どの程度一致したときに操作対象とするか設定します。
画像一致率の設定値を高くすると、画像の判定が厳しくなります。
画面上に対象の画像が表示されているにもかかわらず見つからない場合は、画像一致率の設定値が高すぎないか確認してください。
画像一致率の右側には、現在の一致率がパーセント（%）で表示されます。
2-2．【画像】値入力の設定
「【画像】値入力」アクションで使用する入力方式、入力後の操作、行間の待ち時間を設定します。
入力方式
値を入力する方式を設定します。基本的には「クリップボードからCtrl+V」の使用を推奨します。
- キーボード入力（直接入力）：キーボード操作によって値を入力します。入力する値が小文字の場合、キーボードがCaps Lockの状態でも小文字で入力されます。
- クリップボードからCtrl+V：入力する値をクリップボードにコピーし、Ctrl+Vで対象箇所へ貼り付けます。
注意：キーボード入力（直接入力）では、「~」（チルダ）がEnterキーとして扱われます。
ファイル名や入力文字列に「~」が含まれる場合は、意図しないEnterキーの送信を防ぐため、「クリップボードからCtrl+V」を使用してください。
入力後
値を入力した後に、Enterキーを送信するか設定します。
- 入力する：値を入力した後にEnterキーを押します。
- 入力しない：値を入力した後にEnterキーを押しません。
行間の待ち時間
値を連続して入力する場合に、値を入力する間隔を設定します。
3．文字マッチングのデフォルト設定
各アクションのマッチング方式を「文字」にした場合の基本設定のデフォルト設定を行います。
3-1．基本設定
プロキシ
文字認識のためにGoogleへ通信するとき、Proxyサーバーを経由するかどうかを設定します。
- Proxyを使用する：Proxyサーバーを経由してGoogleへ通信します。
- Proxyを使用しない：Proxyサーバーを経由せずにGoogleへ通信します。
社内ネットワークからインターネットへ接続する際にProxyサーバーを使用する環境では、ロボデザイン側のProxy接続情報も確認してください。
詳しくは、JobAutoでProxyを設定する方法をご確認ください。
4．表形式マッチングのデフォルト設定
各アクションのマッチング方式を「表形式」にした場合の「【表】値入力」アクションと「【表】値取得」アクションのデフォルト設定を行います。
4-1．【表】値入力の設定
表形式のアプリケーション画面へ値を入力する際の、クリック操作、データクリア、入力方式、入力後のキー操作を設定します。
ステップ1．クリック操作
設定した表内の場所を選択するときのクリック方法を選択します。
- クリック：対象箇所をクリックして選択します。
- ダブルクリック：対象箇所をダブルクリックして選択します。
ステップ2．キー送信・データクリア
選択した箇所に入力されているデータをクリアする方法を設定します。
- Ctrl+A バックスペース：Ctrl+Aでデータを全選択し、Backspaceキーでクリアします。
- Ctrl+A DELETE：Ctrl+Aでデータを全選択し、Deleteキーでクリアします。
- 何もしない：データをクリアする操作を行いません。
- バックスペース：Backspaceキーを送信してデータをクリアします。
- DELETE：Deleteキーを送信してデータをクリアします。
入力先のアプリケーションによって、データをクリアできるキー操作が異なる場合があります。操作対象に合わせて選択してください。
ステップ3．キー送信・入力
選択した箇所へ値を入力する方式を設定します。
- クリップボードからCtrlV：入力する値をクリップボードにコピーし、Ctrl+Vで対象箇所へ貼り付けます。
- キーボード入力：キーボード操作によって値を入力します。
- 何もしない：値を入力する操作を行いません。
注意：キーボード入力では、「~」（チルダ）がEnterキーとして扱われます。
入力する値に「~」が含まれている場合は、意図しないEnterキーの送信を防ぐため、「クリップボードからCtrlV」を使用してください。
ステップ4．キー送信・エンター
値を入力した後に送信するキーを設定します。
- エンター：Enterキーを送信します。
- タブ：Tabキーを送信します。
- 何もしない：入力後にキーを送信しません。
4-2．【表】値取得の設定
「【表】値取得」アクションで使用する、OCR読み込みとマウス・キーボード操作のデフォルト設定を行います。
OCR読み込み
表内の指定した位置を画像として読み取り、OCRで文字に変換して値を取得します。
Google OCRを使用する場合は、GoogleのAPIを利用して画像内の文字を認識します。
OCRの対象となる画像データはJobAutoからGoogleへ送信されるため、インターネットへの接続が必要です。
Proxyサーバーを経由してインターネットへ接続している環境では、JobAutoのProxy設定方法も確認してください。
また、インターネットへの通信先ドメインが制限されている場合は、vision.googleapis.com への通信が許可されているか確認してください。
Google OCRでは、画像データが外部サービスへ送信されます。機密情報を含む画面を読み取る場合は、利用環境の情報管理ルールを確認してください。
プロキシ
Googleへ通信するときに、Proxyサーバーを経由するかどうかを設定します。
- Proxyを使用する：Proxyサーバーを経由してGoogleへ通信します。
- Proxyを使用しない：Proxyサーバーを経由せずにGoogleへ通信します。
変換時のオプション
OCRで文字を認識するときに、日本語を優先するか設定します。
- 日本語を優先しない：日本語を優先せずにOCR変換します。
- 日本語を優先する：日本語を優先してOCR変換します。
マウスとキーボード操作
表内の指定した位置から、マウス操作とキーボード操作を使って値を取得します。
クリック操作、全選択、コピー、取得後のキー操作を設定できます。
ステップ1．クリック操作
設定した表内の場所を選択するときのクリック方法を選択します。
- クリック：対象箇所をクリックして選択します。
- ダブルクリック：対象箇所をダブルクリックして選択します。
ステップ2．キー送信・全選択
選択した箇所のデータを全選択するか設定します。
- Ctrl+A：Ctrl+Aを送信し、選択中の箇所のデータを全選択します。
- 何もしない：全選択のキー操作を行いません。
ステップ3．キー送信・コピー
選択した箇所のデータをコピーし、クリップボードから値を取得するか設定します。
- Ctrl+C後クリップボードから取得：Ctrl+Cで選択したデータをコピーし、クリップボードから取得した値を設定した変数へ格納します。
- 何もしない：コピーおよびクリップボードからの取得操作を行いません。
ステップ4．キー送信・エスケープ
値を取得した後に、Escキーを送信するか設定します。
- ESCキー：Escキーを送信します。
- 何もしない：取得後にキーを送信しません。
デフォルト設定を変更するときの注意点
設定変更は新しく作成するアクションに適用される
アプリデザインのデフォルト設定は、設定変更後に新しく作成するアクションに適用されます。
すでに作成済みのアクションには、デフォルト設定の変更内容は反映されません。
既存アクションの動作を変更する場合は、対象アクションの設定画面で個別に変更してください。
値入力方式は入力する文字に合わせて選択する
キーボード入力（直接入力）では、「~」（チルダ）がEnterキーとして扱われます。
「~」を含むファイル名や文字列を入力する場合は、「クリップボードからCtrl+V」を選択してください。
画像が見つからない場合は判定方法と画像一致率を確認する
画像マッチングで対象画像が見つからない場合は、「見た目で判定」「特徴で判定」の選択と、画像一致率の設定を確認してください。
画像の判定方法や画像一致率は、操作対象を認識できるかどうかに関係します。
Google OCRを使用する場合は通信環境を確認する
Google OCRを使用する場合は、インターネットへの接続が必要です。
OCRで文字を取得できない場合は、ネットワーク接続、Proxy設定、Googleへの通信許可を確認してください。
よくある質問
デフォルト設定を変更すると既存のアクションにも反映されますか？
いいえ。デフォルト設定の変更は、変更後に新しく作成するアクションにのみ適用されます。すでに作成済みのアクションには反映されないため、既存アクションは個別に設定を変更してください。
「~」（チルダ）を文字として入力するにはどうすればよいですか？
入力方式で「クリップボードからCtrl+V」を選択してください。キーボード入力（直接入力）では、「~」がEnterキーとして扱われます。
画像が表示されているのに認識されない場合はどうすればよいですか？
画像の判定方法と画像一致率を確認してください。画像一致率を高く設定しすぎると、画面に画像が表示されていても見つからない場合があります。
Google OCRを使用するときにインターネット接続は必要ですか？
はい。Google OCRを使用する場合は、GoogleのAPIへ画像データを送信するため、インターネット接続が必要です。Proxyサーバーを使用する環境では、Proxy設定も確認してください。