★機能の説明、概要
JobAutoのアプリデザインの使い方について説明します。
アプリデザインは、 JobAutoでアプリ操作のアクションを作成するときに使用する画面です。 「アプリデザインを開く」を実行すると、 接続中のアプリが表示された状態でアプリデザインが開きます。
アプリデザインでは、 操作する箇所をどの方法で認識するかを選択するほか、 接続中のアプリ画面の再読込み、 操作対象へのフォーカス、 背景色の変更などを行えます。
★使い方
★各部の説明
1.マッチング方式
ロボットにアプリ内のボタンやテキストボックスを操作する設定を行います。このときにロボットにどの方法で認識させるかを選択します。
1-1.要素
要素による認識をします。要素はロボットを実行するPCによってほぼ変わりません。後述の画像と比較するとロボットが安定して動きます。
1-2.画像
画像による認識をします。画像はロボットを実行するPCによって変わることが多いです。そのためロボットは安定して動きません。
1-3.文字
文字による認識をします。文字はOCRによって認識をします。OCRに依存しているため、認識が苦手な文字もあります。
2.画像を読込み
接続中のアプリの表示と、アプリデザインに表示の画像が異なるときに実行します。
2-1.すぐに読込み
接続中のアプリの画像をすぐに読み込みます。
2-2.5~30秒後に再読込み
指定した秒数後に接続中のアプリの画像を読み込みます。読込を待機している場合に、人間が操作して表示させたいアプリの画面を表示、それをアプリデザインが読み込みます。
たとえば、ツールバーのファイル内の新規作成をクリックするアクションを作成したい、 ツールバーのファイル 内のメニューをアプリデザインで表示したいときにこの機能を使用します。
3.操作対象にフォーカス
操作したい個所をロボットが正しく認識しているか、アプリ内へフォーカスをあてます。
3-1.すぐにフォーカス
接続中のアプリの画像へすぐにフォーカスをあてます。
3-2.5~30秒後にフォーカス
指定した秒数後に接続中のアプリへフォーカスをあてます。フォーカスを待機している場合に、人間が操作してフォーカスをあてたいアプリの画面を表示、そこへフォーカスがあたります。
たとえば、ツールバーのファイル内の新規作成を操作個所に指定した、 新規作成にフォーカスをあてたいときにこの機能を使用します。
4.背景色
アプリデザインで表示しているアプリとアプリデザインの色が混在し、境界がわかりにくくなっている場合に使います。3種類から選択できます。
アプリ操作ではどのマッチング方式を使えばよいか
アプリデザインでは、 操作する箇所をロボットにどの方法で認識させるかを選択します。
| マッチング方式 | 特徴 |
|---|---|
| 要素 | アプリ内の要素を認識します。実行するPCによる変化が少なく、画像による認識と比較して安定して動作しやすい方式です。 |
| 画像 | アプリ画面の画像を使って操作対象を認識します。実行するPCの環境によって画像が変化する場合があります。 |
| 文字 | 画面上の文字をOCRで認識します。OCRによる認識のため、文字によっては正しく認識できない場合があります。 |
操作対象を要素として認識できる場合は、 まず要素マッチングで操作できるか確認します。
要素による操作が難しい場合は、 操作する画面や対象に応じて 文字マッチングや画像マッチングを検討してください。
アプリデザインの画面が実際のアプリと違う場合
接続中のアプリの表示と、 アプリデザインに表示されている画面が異なる場合は、 「画像を読込み」を使用します。
現在の画面をすぐに読み込みたい場合は 「すぐに読込み」を使用します。
メニューを開くなど、 人が操作してから画面を読み込みたい場合は、 「5~30秒後に再読込み」を使用します。
操作する箇所を正しく認識しているか確認する
設定した操作箇所をJobAutoが正しく認識しているか確認したい場合は、 「操作対象にフォーカス」を使用します。
すぐに確認する場合は「すぐにフォーカス」、 人がアプリを操作して目的の画面を表示してから確認する場合は、 「5~30秒後にフォーカス」を使用します。
アプリとアプリデザインの境界が分かりにくい場合
アプリデザインに表示されているアプリと アプリデザイン側の色が混在して、 画面の境界が分かりにくい場合は 「背景色」を変更します。
背景色を変更することで、 アプリデザイン上で操作対象となる範囲を確認しやすくできます。
アプリ操作のアクションを作成する基本的な流れ
初めてアプリ操作のアクションを作成する場合は、 アプリの起動、接続、マッチング方式の選択、 アクション作成までの基本的な流れも確認してください。
JobAutoでアプリ操作のアクションを作成する方法はこちら
アプリ操作がうまくいかない場合
操作したい箇所を認識できない場合は、 まずマッチング方式が操作対象に合っているか確認してください。
アプリデザインに表示されている画面が最新の状態でない場合は、 「画像を読込み」を実行します。
操作対象を正しく認識しているか確認したい場合は、 「操作対象にフォーカス」を使用してください。
アプリデザインでのアクション設定中や実行時に、ロボデザインが「応答なし」と表示される場合は、JobAutoでアプリ操作を実行するとロボデザインが応答なしになる場合の対処方法をご覧ください。操作対象アプリとの違いや、確認メッセージが隠れていないかを切り分ける方法を紹介しています。

[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。 […]
[…] アプリデザインとマッチング方式の詳しい説明はこちら […]
[…] アクション設定画面の設定項目について説明します。「画面を読み込み」「操作対象にフォーカス」「背景色」については、アプリデザインの使い方をご確認ください。 […]
[…] JobAutoのアプリデザインの使い方:画面・ボタンの認識方法 […]
[…] 確認方法は、アプリデザインの使い方と、アプリの要素から値を取得する方法にある要素マッチングの設定例をご参照ください。 […]
[…] ※ この操作例は、対象アプリをJobAutoから操作できるように起動・接続した後の手順です。アプリへの接続などの基本操作は、公式マニュアル「アプリデザインの使い方」も参照してください。 […]
[…] アプリデザインの認識方式や画面の再読込み・フォーカス確認については、JobAutoのアプリデザイン公式マニュアルも参照してください。 […]
[…] アプリデザイン|マッチング方式・画像読込・フォーカス […]
[…] アプリデザイン|画像の読み込み・操作対象にフォーカス […]
[…] Windowsアプリケーションの画面を操作する場合は、アプリデザインで操作対象を指定できます。画像によるマッチングはPCの解像度や画面表示状態の影響を受けることがあるため、操作対象の認識結果を確認してから実行してください。 […]