【アプリ操作】すべてのアプリを終了

★アクションの説明、概要

起動中のすべてのアプリを終了する方法について説明します。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。

1.基本設定

1-1.強制終了する

アプリを強制的に終了させる場合にチェックを入れます。保存しますか、などの確認メッセージが表示させずに強制的に終了します。

1-2.対象となるアプリケーション

デフォルトですべてのアプリケーションが選択されています。

・接続中のアプリケーション

アプリ接続で接続中のアプリケーションが終了します

・すべてのアプリケーション

PCで起動中のすべてのアプリケーションが終了します

1-3.終了までの待ち時間(秒)

アクションを実行してからアプリを終了するまでの時間を設定します。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】この範囲内の指定の文字に対してマウス操作

★アクションの説明、概要(0.10.8から)

文字を探す範囲をして、そして操作したい個所に表示されている文字による指定を行います。そして指定した箇所をマウスで操作する方法について説明しています。

GoogleのAPIを使って変換をしています。OCR変換する文字はJobAutoからGoogleへ送信されます。ご承知おきください。Googleへインターネット経由で通信を行います。インターネットへの接続をプロキシサーバを介して行っている環境の場合は、プロキシの設定を行ってください。

またインターネットでアクセス先のドメインに制限がかかっている場合はvision.googleapis.comの制限を解除してください。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.文字が見つかるまでのタイムアウト(秒)

設定した時間まで、指定した文字をロボットが探し続けます。

1-2.クリックパターン

クリックの種類を選択します。

・クリック

マウスのクリックを行います。

・ダブルクリック

マウスのダブルクリックを行います。

・右クリック

右クリックを行います。

・マウス移動

カーソルを移動します。

・マウスダウン

マウスの左クリックを押しっぱなしにします。

・マウスアップ

マウスの左クリックを押しっぱなしをやめます。

・上スクロール

マウスを使って上にスクロールします。

・下スクロール

マウスを使って下にスクロールします。

1-3.対象となる値

画面内から探す文字を入力します。変数参照可能です。

・検索ボタン

対象となる値に設定された文字を画面内から探します。

1-4.インデックス

設定した値で1つの文字に絞り込めない場合、何番目の文字を操作するか指定します。1番目の場合、0を設定します。

1-5.この範囲で探す(範囲設定方法)

指定した文字を探す範囲を設定します。

・座標

画面内の座標で範囲を指定します。

・比率

画面全体に対しての比率で範囲を指定します。

・全体

範囲を画面全体にします。

・左上

画面左上からの場所を示す数値です。範囲指定方法によって、数値が異なります。変更可能です

・右上

画面右上からの場所を示す数値です。範囲指定方法によって、数値が異なります。変更不可能です

・左下

画面左下からの場所を示す数値です。範囲指定方法によって、数値が異なります。変更不可能です

・右下

画面右下からの場所を示す数値です。範囲指定方法によって、数値が異なります。変更可能です

1-6.見つかった文字一覧

対象となる値へ設定した文字が画面内にあるか、検索ボタンで探すことができます。このときにOCRで解析した結果が表示されます。設定した文字が探せない場合に、文字を変更するときの参考にしてください。

範囲 文字 マウス操作

2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】【表】値入力

★アクションの説明、概要

画面内の操作したい個所を要素による指定を行います。そして指定した箇所をマウスで操作する方法について説明しています。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.行番号

表内の何行目を操作するか設定します。変数参照可能です。

1-2.列番号

表内の何列目を操作するか設定します。変数参照可能です。

1-3.値入力

入力する値を設定します。変数参照可能です。またシステム値を使用可能です。システム値の説明はこちら。

・マウスとキーボード操作

設定した表の場所へ マウスとキーボードを使って入力します。

ステップ1 クリック操作

設定した表の場所を選択するときの方法を選択します。

・クリック

クリックして選択します。

・ダブルクリック

ダブルクリックして選択します。

ステップ2 キー送信 データクリア

選択した箇所のデータをクリアする方法を選択します。

・Ctrl+A バックスペース

選択中の個所を全選択し、バックスペースでデータをクリアします。

・ Ctrl+A DELETE

選択中の個所を全選択し、DELETEキーでデータをクリアします。

・何もしない

なにもしません。

・ バックスペース

選択中の個所をバックスペースでデータをクリアします。

・ DELETE

選択中の個所をDELETEキーでデータをクリアします。

ステップ3 キー送信 入力

・クリップボードからCtrlV

選択した箇所へCtrl+Vを使って入力します。

アプリ操作の値入力では「~」チルダはEnterを押したときと
同じ動きをします。そのため、ファイル名の入力が途中で終わってしまう動きをします。

「~」チルダを入力する可能性がある場合、
クリップボードからCtrl+Vをお使いください。

・キーボード入力

キーボードを使って入力します。

・何もしない

なにもしません。

ステップ4 キー送信 エンター

値を入力後の操作を設定します。

・エンター

エンターキーを送信します。

・タブ

タブキーを送信します。

・何もしない

なにもしません。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.事前に表を再読み込み

このアクションが実行される直前に表を再読込する場合は、チェックを入れます。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】【表】値取得

★アクションの説明、概要

画面内の操作したい個所を要素による指定を行います。そして指定した箇所をマウスで操作する方法について説明しています。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.行番号

表内の何行目を操作するか設定します。変数参照可能です。

1-2.列番号

表内の何列目を操作するか設定します。変数参照可能です。

1-3.格納先

取得した値の格納先の変数を設定します。

1-4.値取得方式

値を取得する方式を設定します。

・OCR読み込み

設定した表の場所から画像で文字を取得します。そして取得した文字をOCR変換します。

文字のOCR変換はGoogleのAPIを使って変換をしています。OCR変換する文字はJobAutoからGoogleへ送信されます。ご承知おきください。Googleへインターネット経由で通信を行います。インターネットへの接続をプロキシサーバを介して行っている環境の場合は、プロキシの設定を行ってください。

またインターネットでアクセス先のドメインに制限がかかっている場合はvision.googleapis.comの制限を解除してください。

・マウスとキーボード操作

設定した表の場所から マウスとキーボードを使って取得します。

ステップ1 クリック操作

設定した表の場所を選択するときの方法を選択します。

・クリック

クリックして選択します。

・ダブルクリック

ダブルクリックして選択します。

ステップ2 キー送信 全選択

選択した箇所にキーを送信するかを選択します。

・Ctrl+A

選択中の個所が全選択になります。

・何もしない

なにもしません。

ステップ3 キー送信 コピー

・Ctrl+C後クリップボードから取得

選択した箇所をコピーし、クリップボードから設定した変数に格納します。

・何もしない

なにもしません。

ステップ4 キー送信 エスケープ

値を取得後の操作を設定します。

・ESCキー

ESCキーを送信します。

・何もしない

なにもしません。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.事前に表を再読み込み

このアクションが実行される直前に表を再読込する場合は、チェックを入れます。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】【表】マウス操作

★アクションの説明、概要

画面内の操作したい個所を要素による指定を行います。そして指定した箇所をマウスで操作する方法について説明しています。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.行番号

表内の何行目を操作するか設定します。変数参照可能です。

1-2.列番号

表内の何列目を操作するか設定します。変数参照可能です。

1-3.クリックパターン

クリックの種類を選択します。

・クリック

マウスのクリックを行います。

・ダブルクリック

マウスのダブルクリックを行います。

・右クリック

マウスの右クリックを行います。

・マウス移動

カーソルを移動します。

・マウスダウン

マウスの左クリックを押しっぱなしにします。

・マウスアップ

マウスの左クリックを押しっぱなしをやめます。

・上スクロール

マウスを使って上にスクロールします。

・下スクロール

マウスを使って下にスクロールします。

1-4.マウスの位置を指定

指定した要素内のクリック位置を座標で設定します。

・X座標

クリック位置のX座標を設定します。変数参照可能です。(0.10.8から)

・Y座標

クリック位置のY座標を設定します 。変数参照可能です。(0.10.8から)


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.事前に表を再読み込み

このアクションが実行される直前に表を再読込する場合は、チェックを入れます。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】【要素】表として操作する

★アクションの説明、概要

アプリの画面内の縦線、横線で区切られている個所を表として認識させます。1つの要素として認識した表をこのアクションを使っていくつかのセルに分割し認識します。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.要素が見つかるまでのタイムアウト(秒)

設定した時間まで、選択した要素をロボットが探し続けます。

1-2.閾値

表としてどのくらいの精度で認識するかを設定します。

1-3.余白の設定

表として認識する要素内の余白の設定を行います。

1-4.対象の要素(0.10.9から追加)

操作対象として設定した要素の画像が表示されます。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.キャッシュクリア

処理速度をあげるために要素の情報をもっています。その情報をクリアして再取得するときにチェックを入れます。アプリの画面表示に変化があった後に行うアクションの場合は、チェックを入れておきましょう。

2-3.要素をアクティブにする

要素をアクティブな状態にしてから実行する場合は、チェックを入れます。

2-4.名前

要素を名前で指定するときに設定します。変数参照可能です。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。

2-5.クラス

要素をクラスで指定するときに設定します。

2-6.タイプ

要素をタイプで指定するときに設定します。

2-7.AID

要素をAIDで指定するときに設定します。変数参照可能です。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。

2-8.要素インデックス

ここまで設定した内容で1つの要素に絞り込めない場合、何番目の要素を操作するか指定します。1番目の場合、0を設定します。変数参照可能です。変数参照したときに変数の中身が空だった場合など、インデックスが空のときは自動的に0が設定されます。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】【画像】表として操作する

★アクションの説明、概要

アプリの画面内で指定した画像内の縦線、横線で区切られている個所を表として認識させます。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.画像が見つかるまでのタイムアウト(秒)

設定した時間まで、指定した画像をロボットが探し続けます。

1-2.表の範囲

表として認識する範囲を座標で設定します。

1-3.閾値

表としてどのくらいの精度で認識するかを設定します。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】アプリデザインの使い方

★機能の説明、概要

アプリデザインを開くを実行します。すると接続中のアプリが表示されている状態でアプリデザインが開きます。このアプリデザインの使い方を説明します。


★使い方


★各部の説明

1.マッチング方式

ロボットにアプリ内のボタンやテキストボックスを操作する設定を行います。このときにロボットにどの方法で認識させるかを選択します。

1-1.要素

要素による認識をします。要素はロボットを実行するPCによってほぼ変わりません。後述の画像と比較するとロボットが安定して動きます。

1-2.画像

画像による認識をします。画像はロボットを実行するPCによって変わることが多いです。そのためロボットは安定して動きません。

1-3.文字

文字による認識をします。文字はOCRによって認識をします。OCRに依存しているため、認識が苦手な文字もあります。


2.画像を読込み

接続中のアプリの表示と、アプリデザインに表示の画像が異なるときに実行します。

2-1.すぐに読込み

接続中のアプリの画像をすぐに読み込みます。

2-2.5~30秒後に再読込み

指定した秒数後に接続中のアプリの画像を読み込みます。読込を待機している場合に、人間が操作して表示させたいアプリの画面を表示、それをアプリデザインが読み込みます。

たとえば、ツールバーのファイル内の新規作成をクリックするアクションを作成したい、 ツールバーのファイル 内のメニューをアプリデザインで表示したいときにこの機能を使用します。


3.操作対象にフォーカス

操作したい個所をロボットが正しく認識しているか、アプリ内へフォーカスをあてます。

3-1.すぐにフォーカス

接続中のアプリの画像へすぐにフォーカスをあてます。

3-2.5~30秒後にフォーカス

指定した秒数後に接続中のアプリへフォーカスをあてます。フォーカスを待機している場合に、人間が操作してフォーカスをあてたいアプリの画面を表示、そこへフォーカスがあたります。

たとえば、ツールバーのファイル内の新規作成を操作個所に指定した、 新規作成にフォーカスをあてたいときにこの機能を使用します。


4.背景色

アプリデザインで表示しているアプリとアプリデザインの色が混在し、境界がわかりにくくなっている場合に使います。3種類から選択できます。

【アプリ操作】【文字】文字変換

★アクションの説明、概要

画面内要素マッチングで指定できない個所から文字化したい個所を選択します。そして選択した範囲内の文字をOCR変換します。

GoogleのAPIを使って変換をしています。OCR変換する文字はJobAutoからGoogleへ送信されます。ご承知おきください。Googleへインターネット経由で通信を行います。インターネットへの接続をプロキシサーバを介して行っている環境の場合は、プロキシの設定を行ってください。

またインターネットでアクセス先のドメインに制限がかかっている場合はvision.googleapis.comの制限を解除してください。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.格納先

取得した値を格納する変数を設定します。

1-3.対象となる値

画面内から探す文字を入力します。変数参照可能です。

・取得値 

対象となる値に設定された文字を画面内から探します。

1-4.位置評価方法

設定した範囲が画面内のどの位置にあたるのかを設定します。

・座標

画面内の座標で指定します。

・比率

画面内の比率で指定します。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】【要素】文字変換

★アクションの説明、概要

画面内の操作したい個所を要素による指定を行います。しかしアプリによっては指定した箇所の文字を取得できない場合があります。そんなときに本アクションを使って、OCR変換を使い指定した要素内に表示されている文字を取得します。

GoogleのAPIを使って変換をしています。OCR変換する文字はJobAutoからGoogleへ送信されます。ご承知おきください。Googleへインターネット経由で通信を行います。インターネットへの接続をプロキシサーバを介して行っている環境の場合は、プロキシの設定を行ってください。

またインターネットでアクセス先のドメインに制限がかかっている場合はvision.googleapis.comの制限を解除してください。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.要素が見つかるまでのタイムアウト(秒)

設定した時間まで、選択した要素をロボットが探し続けます。

1-2.要素が最前面に表示されるまで待つ

設定した時間まで、選択した要素が最前面に表示されるまでロボットが処理を停止します。

・待つ

最前面に表示されるまで処理を停止します。

・待たない

最前面に表示されるまで処理を停止しません。

1-3.格納先

OCR変換した値を格納する変数を設定します。

1-4.取得値

OCR変換した値です。

・検索ボタン 

指定した要素内の文字をOCR変換します。

1-5.対象の要素(0.10.9から追加)

操作対象として設定した要素の画像が表示されます。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.キャッシュクリア

処理速度をあげるために要素の情報をもっています。その情報をクリアして再取得するときにチェックを入れます。アプリの画面表示に変化があった後に行うアクションの場合は、チェックを入れておきましょう。

2-3.要素をアクティブにする

要素をアクティブな状態にしてから実行する場合は、チェックを入れます。

2-4.名前

要素を名前で指定するときに設定します。変数参照可能です。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。

2-5.クラス

要素をクラスで指定するときに設定します。

2-6.タイプ

要素をタイプで指定するときに設定します。

2-7.AID

要素をAIDで指定するときに設定します。変数参照可能です。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。

2-8.要素インデックス

ここまで設定した内容で1つの要素に絞り込めない場合、何番目の要素を操作するか指定します。1番目の場合、0を設定します。変数参照可能です。変数参照したときに変数の中身が空だった場合など、インデックスが空のときは自動的に0が設定されます。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。