【アプリ操作】【表】マウス操作

★アクションの説明、概要

画面内の操作したい個所を要素による指定を行います。そして指定した箇所をマウスで操作する方法について説明しています。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.行番号

表内の何行目を操作するか設定します。変数参照可能です。

1-2.列番号

表内の何列目を操作するか設定します。変数参照可能です。

1-3.クリックパターン

クリックの種類を選択します。

・クリック

マウスのクリックを行います。

・ダブルクリック

マウスのダブルクリックを行います。

・右クリック

マウスの右クリックを行います。

・マウス移動

カーソルを移動します。

・マウスダウン

マウスの左クリックを押しっぱなしにします。

・マウスアップ

マウスの左クリックを押しっぱなしをやめます。

・上スクロール

マウスを使って上にスクロールします。

・下スクロール

マウスを使って下にスクロールします。

1-4.マウスの位置を指定

指定した要素内のクリック位置を座標で設定します。

・X座標

クリック位置のX座標を設定します。変数参照可能です。(0.10.8から)

・Y座標

クリック位置のY座標を設定します 。変数参照可能です。(0.10.8から)


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.事前に表を再読み込み

このアクションが実行される直前に表を再読込する場合は、チェックを入れます。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】【画像】表として操作する

★アクションの説明、概要

アプリの画面内で指定した画像内の縦線、横線で区切られている個所を表として認識させます。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.画像が見つかるまでのタイムアウト(秒)

設定した時間まで、指定した画像をロボットが探し続けます。

1-2.表の範囲

表として認識する範囲を座標で設定します。

1-3.閾値

表としてどのくらいの精度で認識するかを設定します。

1-4.最大行数取得(0.10.10から追加)

表として操作する範囲に行数が何行あるかを取得します


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】アプリデザインの使い方

★機能の説明、概要

アプリデザインを開くを実行します。すると接続中のアプリが表示されている状態でアプリデザインが開きます。このアプリデザインの使い方を説明します。


★使い方


★各部の説明

1.マッチング方式

ロボットにアプリ内のボタンやテキストボックスを操作する設定を行います。このときにロボットにどの方法で認識させるかを選択します。

1-1.要素

要素による認識をします。要素はロボットを実行するPCによってほぼ変わりません。後述の画像と比較するとロボットが安定して動きます。

1-2.画像

画像による認識をします。画像はロボットを実行するPCによって変わることが多いです。そのためロボットは安定して動きません。

1-3.文字

文字による認識をします。文字はOCRによって認識をします。OCRに依存しているため、認識が苦手な文字もあります。


2.画像を読込み

接続中のアプリの表示と、アプリデザインに表示の画像が異なるときに実行します。

2-1.すぐに読込み

接続中のアプリの画像をすぐに読み込みます。

2-2.5~30秒後に再読込み

指定した秒数後に接続中のアプリの画像を読み込みます。読込を待機している場合に、人間が操作して表示させたいアプリの画面を表示、それをアプリデザインが読み込みます。

たとえば、ツールバーのファイル内の新規作成をクリックするアクションを作成したい、 ツールバーのファイル 内のメニューをアプリデザインで表示したいときにこの機能を使用します。


3.操作対象にフォーカス

操作したい個所をロボットが正しく認識しているか、アプリ内へフォーカスをあてます。

3-1.すぐにフォーカス

接続中のアプリの画像へすぐにフォーカスをあてます。

3-2.5~30秒後にフォーカス

指定した秒数後に接続中のアプリへフォーカスをあてます。フォーカスを待機している場合に、人間が操作してフォーカスをあてたいアプリの画面を表示、そこへフォーカスがあたります。

たとえば、ツールバーのファイル内の新規作成を操作個所に指定した、 新規作成にフォーカスをあてたいときにこの機能を使用します。


4.背景色

アプリデザインで表示しているアプリとアプリデザインの色が混在し、境界がわかりにくくなっている場合に使います。3種類から選択できます。

【アプリ操作】【文字】文字変換

★アクションの説明、概要

画面内要素マッチングで指定できない個所から文字化したい個所を選択します。そして選択した範囲内の文字をOCR変換します。

GoogleのAPIを使って変換をしています。OCR変換する文字はJobAutoからGoogleへ送信されます。ご承知おきください。Googleへインターネット経由で通信を行います。インターネットへの接続をプロキシサーバを介して行っている環境の場合は、プロキシの設定を行ってください。

またインターネットでアクセス先のドメインに制限がかかっている場合はvision.googleapis.comの制限を解除してください。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.格納先

取得した値を格納する変数を設定します。

1-2.取得値 

マウスで指定した範囲内の文字をOCRをかけた結果が表示されます

1-3.位置評価方法

設定した範囲が画面内のどの位置にあたるのかを設定します。

・座標

画面内の座標で指定します。

・比率

画面内の比率で指定します。

1-4.プロキシ(0.10.12から追加)

Googleへの通信を行うときにプロキシサーバを経由するか、しないかを設定します。

・Proxyを使用する

プロキシサーバを経由して通信をします

・Proxyを使用しない

プロキシサーバを経由せずに通信をします

Googleへの通信を行うときにプロキシサーバを経由するか、しないかを設定します。

・Proxyを使用する

プロキシサーバを経由して通信をします

・Proxyを使用しない

プロキシサーバを経由せずに通信をします

1-5.変換時のオプション(0.10.13から追加)

OCRで変換するときに優先する言語を設定します。

・日本語を優先しない

日本語を優先しないでOCR変換します

・日本語を優先する

日本語を優先してOCR変換します


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】【要素】文字変換

★アクションの説明、概要

画面内の操作したい個所を要素による指定を行います。しかしアプリによっては指定した箇所の文字を取得できない場合があります。そんなときに本アクションを使って、OCR変換を使い指定した要素内に表示されている文字を取得します。

GoogleのAPIを使って変換をしています。OCR変換する文字はJobAutoからGoogleへ送信されます。ご承知おきください。Googleへインターネット経由で通信を行います。インターネットへの接続をプロキシサーバを介して行っている環境の場合は、プロキシの設定を行ってください。

またインターネットでアクセス先のドメインに制限がかかっている場合はvision.googleapis.comの制限を解除してください。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.要素が見つかるまでのタイムアウト(秒)

設定した時間まで、選択した要素をロボットが探し続けます。

1-2.要素が最前面に表示されるまで待つ

設定した時間まで、選択した要素が最前面に表示されるまでロボットが処理を停止します。

・待つ

最前面に表示されるまで処理を停止します。

・待たない

最前面に表示されるまで処理を停止しません。

1-3.格納先

OCR変換した値を格納する変数を設定します。

1-4.取得値

OCR変換した値です。

・検索ボタン 

指定した要素内の文字をOCR変換します。

1-5.プロキシ(0.10.12から追加)

Googleへの通信を行うときにプロキシサーバを経由するか、しないかを設定します。

・Proxyを使用する

プロキシサーバを経由して通信をします

・Proxyを使用しない

プロキシサーバを経由せずに通信をします

Googleへの通信を行うときにプロキシサーバを経由するか、しないかを設定します。

・Proxyを使用する

プロキシサーバを経由して通信をします

・Proxyを使用しない

プロキシサーバを経由せずに通信をします

1-6.変換時のオプション(0.10.13から追加)

OCRで変換するときに優先する言語を設定します。

・日本語を優先しない

日本語を優先しないでOCR変換します

・日本語を優先する

日本語を優先してOCR変換します

1-7.対象の要素(0.10.9から追加)

操作対象として設定した要素の画像が表示されます。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.キャッシュクリア

処理速度をあげるために要素の情報をもっています。その情報をクリアして再取得するときにチェックを入れます。アプリの画面表示に変化があった後に行うアクションの場合は、チェックを入れておきましょう。

2-3.要素をアクティブにする

要素をアクティブな状態にしてから実行する場合は、チェックを入れます。

2-4.名前

要素を名前で指定するときに設定します。変数参照可能です。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。
こちらも参考にしてください。

2.アプリ操作でうまくいかないときは(要素マッチング)1ー名前で正規表現を使う

2-5.クラス

要素をクラスで指定するときに設定します。

2-6.タイプ

要素をタイプで指定するときに設定します。
こちらも参考にしてください。

2-7.AID

要素をAIDで指定するときに設定します。変数参照可能です。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。

2-8.要素インデックス

ここまで設定した内容で1つの要素に絞り込めない場合、何番目の要素を操作するか指定します。1番目の場合、0を設定します。変数参照可能です。変数参照したときに変数の中身が空だった場合など、インデックスが空のときは自動的に0が設定されます。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】指定の文字が出るまで待つ

★アクションの説明、概要

画面内の操作したい個所を表示されている文字による指定を行います。指定した文字が画面内に表示されるまでロボットの処理を一時停止させる方法について説明しています。

GoogleのAPIを使って変換をしています。OCR変換する文字はJobAutoからGoogleへ送信されます。ご承知おきください。Googleへインターネット経由で通信を行います。インターネットへの接続をプロキシサーバを介して行っている環境の場合は、プロキシの設定を行ってください。

インターネットでアクセス先のドメインに制限がかかっている場合はvision.googleapis.comの制限を解除してください。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.文字が見つかるまでのタイムアウト(秒)

設定した時間まで、指定した文字をロボットが探し続けます。

1-2.対象となる値

画面内から探す文字を入力します。変数参照可能です。

・検索ボタン 

対象となる値に設定された文字を画面内から探します。

1-3.プロキシ(0.10.12から追加)

Googleへの通信を行うときにプロキシサーバを経由するか、しないかを設定します。

・Proxyを使用する

プロキシサーバを経由して通信をします

・Proxyを使用しない

プロキシサーバを経由せずに通信をします

Googleへの通信を行うときにプロキシサーバを経由するか、しないかを設定します。

・Proxyを使用する

プロキシサーバを経由して通信をします

・Proxyを使用しない

プロキシサーバを経由せずに通信をします

1-4.変換時のオプション(0.10.13から追加)

OCRで変換するときに優先する言語を設定します。

・日本語を優先しない

日本語を優先しないでOCR変換します

・日本語を優先する

日本語を優先してOCR変換します


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.一致したイメージショットをログに残す ※0.10.10から

チェックを入れた状態でスケジュール実行を行うと、ログに処理対象の文字がイメージとして表示されます


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】指定の文字が消えるまで待つ

★アクションの説明、概要

画面内の操作したい個所を表示されている文字による指定を行います。指定した箇所が画面内から消えるまでロボットの処理を一時停止させる方法について説明しています。

GoogleのAPIを使って変換をしています。OCR変換する文字はJobAutoからGoogleへ送信されます。ご承知おきください。Googleへインターネット経由で通信を行います。インターネットへの接続をプロキシサーバを介して行っている環境の場合は、プロキシの設定を行ってください。

インターネットでアクセス先のドメインに制限がかかっている場合はvision.googleapis.comの制限を解除してください。


★アクションの作成方法


★アクションの設定画面について

1.基本設定

1-1.文字が見つかるまでのタイムアウト(秒)

設定した時間まで、指定した文字をロボットが探し続けます。

1-2.対象となる値

画面内から探す文字を入力します。変数参照可能です。

・検索ボタン 

対象となる値に設定された文字を画面内から探します。

1-3.プロキシ(0.10.12から追加)

Googleへの通信を行うときにプロキシサーバを経由するか、しないかを設定します。

・Proxyを使用する

プロキシサーバを経由して通信をします

・Proxyを使用しない

プロキシサーバを経由せずに通信をします

1-4.変換時のオプション(0.10.13から追加)

OCRで変換するときに優先する言語を設定します。

・日本語を優先しない

日本語を優先しないでOCR変換します

・日本語を優先する

日本語を優先してOCR変換します


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】指定の文字に対してマウス操作

★アクションの説明、概要

画面内の操作したい個所に表示されている文字による指定を行います。指定した箇所をマウスで操作する方法について説明しています。

GoogleのAPIを使って変換をしています。OCR変換する文字はJobAutoからGoogleへ送信されます。ご承知おきください。Googleへインターネット経由で通信を行います。インターネットへの接続をプロキシサーバを介して行っている環境の場合は、プロキシの設定を行ってください。

インターネットでアクセス先のドメインに制限がかかっている場合はvision.googleapis.comの制限を解除してください。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.文字が見つかるまでのタイムアウト(秒)

設定した時間まで、指定した文字をロボットが探し続けます。

1-2.クリックパターン

クリックの種類を選択します。

・クリック

マウスのクリックを行います。

・ダブルクリック

マウスのダブルクリックを行います。

・右クリック

マウスの右クリックを行います。

・マウス移動

カーソルを移動します。

・マウスダウン

マウスの左クリックを押しっぱなしにします。

・マウスアップ

マウスの左クリックを押しっぱなしをやめます。

・上スクロール

マウスを使って上にスクロールします。

・下スクロール

マウスを使って下にスクロールします。

1-3.対象となる値

画面内から探す文字を入力します。変数参照可能です。

・検索ボタン

対象となる値に設定された文字を画面内から探します。

1-4.インデックス

設定した値で1つの文字に絞り込めない場合、何番目の文字を操作するか指定します。1番目の場合、0を設定します。

1-5.クリック位置

指定した文字のクリック位置を座標で設定します。

・X

クリック位置のX座標を設定します。変数参照可能です。(0.10.8から)

・Y

クリック位置のY座標を設定します 。変数参照可能です。(0.10.8から)

1-6.プロキシ(0.10.12から追加)

Googleへの通信を行うときにプロキシサーバを経由するか、しないかを設定します。

・Proxyを使用する

プロキシサーバを経由して通信をします

・Proxyを使用しない

プロキシサーバを経由せずに通信をします

Googleへの通信を行うときにプロキシサーバを経由するか、しないかを設定します。

・Proxyを使用する

プロキシサーバを経由して通信をします

・Proxyを使用しない

プロキシサーバを経由せずに通信をします

1-7.変換時のオプション(0.10.13から追加)

OCRで変換するときに優先する言語を設定します。

・日本語を優先しない

日本語を優先しないでOCR変換します

・日本語を優先する

日本語を優先してOCR変換します

1-8.見つかった文字一覧 ※0.10.6から

対象となる値へ設定した文字が画面内にあるか、検索ボタンで探すことができます。このときOCRで解析した結果が表示されます。対象となる値へ設定しなおすときの参考にしてください。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.一致したイメージショットをログに残す ※0.10.10から

チェックを入れた状態でスケジュール実行を行うと、ログに処理対象の文字がイメージとして表示されます


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】アプリの表示サイズを変更

★アクションの説明、概要

接続中のアプリケーションのサイズを変更する方法について説明しています。アプリを最大化しないと操作したいものが表示されない場合や、接続中のアプリがロボットの処理の邪魔になりアプリを最小化したい場合に使用します。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。

1.基本設定

1-1.画面サイズ設定

変更後のサイズを選択します。

・最大化する

アプリのサイズを最大化します。

・最小化する

アプリのサイズを最小化します 。

・ 元のサイズに戻す

アプリのサイズを元の大きさに戻します。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】うまくいかないときは(画像マッチング)1

◆マッチング方式を画像にしたときに安定して動かすには

アプリ操作で画像マッチングを使うとき(使わざるを得ないとき)があります。そのときに安定的にロボットを運用するための設定のコツについて説明します。


1.選択する画像範囲に揺らぎが出ないようにする

操作する個所の状態によって枠線の色味が異なる場合があります。このようなゆらぎがでないように画像範囲を設定しましょう。

以下の送信ボタンを押す設定を行いますが、送信ボタンの枠線が青くなっています。

button1

表示されている枠線が画像範囲に入らないようにします。操作したい個所の真ん中だけが画像範囲になるようにします。

button4

2.操作個所とは異なるものからを指定、そこからの座標で指定する

操作したい個所と似たような画像が複数あり、画像判定が安定しない場合があります。

以下のようなケースです。ボタンに表示されている名前が似ているおり、安定した動きをしません。

button10

その場合は、操作したい個所から近いユニークな画像を指定し、そこからの座標をずらして指定します。

以下ではボタン1をクリックする設定を行っています。画像マッチングしている範囲の外にあるボタン1をクリックする設定です。

button5

3.効率よく修正を行うために共通部品を使用する

アプリ操作で画像マッチングを使ってロボットを作成した場合、ロボットを実行する端末によっては解像度が異なるなどの理由で、画像が見つからないことがよく起きます。

この場合、ロボットを実行する端末で操作する画像を再設定する必要がありますが、修正が必要なアクション数によっては修正にものすごい時間を取られてしまいます。

修正作業時間を少なくするために、 共通部品を使うことをおすすめします。

たとえば、以下のエクセルから、

button6

以下のシステムへデータを入力するとします。

button7

個々のデータを入力するアクションフローは同じで、渡すデータが異なるだけです。このような場合は、 共通部品を1つ作成し、

button9

作成した 共通部品へデータを渡せば、1つの 共通部品でシステムへの入力を行えます。

button8