by サポートチーム

JobAutoのアプリデザインの使い方

★機能の説明、概要

JobAutoのアプリデザインの使い方について説明します。

アプリデザインは、 JobAutoでアプリ操作のアクションを作成するときに使用する画面です。 「アプリデザインを開く」を実行すると、 接続中のアプリが表示された状態でアプリデザインが開きます。

アプリデザインでは、 操作する箇所をどの方法で認識するかを選択するほか、 接続中のアプリ画面の再読込み、 操作対象へのフォーカス、 背景色の変更などを行えます。

★使い方

★各部の説明

１．マッチング方式

ロボットにアプリ内のボタンやテキストボックスを操作する設定を行います。このときにロボットにどの方法で認識させるかを選択します。

１－１．要素

要素による認識をします。要素はロボットを実行するPCによってほぼ変わりません。後述の画像と比較するとロボットが安定して動きます。

１－２．画像

画像による認識をします。画像はロボットを実行するPCによって変わることが多いです。そのためロボットは安定して動きません。

１－３．文字

文字による認識をします。文字はOCRによって認識をします。OCRに依存しているため、認識が苦手な文字もあります。

２．画像を読込み

接続中のアプリの表示と、アプリデザインに表示の画像が異なるときに実行します。

２－１．すぐに読込み

接続中のアプリの画像をすぐに読み込みます。

２－２．５～３０秒後に再読込み

指定した秒数後に接続中のアプリの画像を読み込みます。読込を待機している場合に、人間が操作して表示させたいアプリの画面を表示、それをアプリデザインが読み込みます。

たとえば、ツールバーのファイル内の新規作成をクリックするアクションを作成したい、 ツールバーのファイル 内のメニューをアプリデザインで表示したいときにこの機能を使用します。

３．操作対象にフォーカス

操作したい個所をロボットが正しく認識しているか、アプリ内へフォーカスをあてます。

３－１．すぐにフォーカス

接続中のアプリの画像へすぐにフォーカスをあてます。

３－２．５～３０秒後にフォーカス

指定した秒数後に接続中のアプリへフォーカスをあてます。フォーカスを待機している場合に、人間が操作してフォーカスをあてたいアプリの画面を表示、そこへフォーカスがあたります。

たとえば、ツールバーのファイル内の新規作成を操作個所に指定した、 新規作成にフォーカスをあてたいときにこの機能を使用します。

４．背景色

アプリデザインで表示しているアプリとアプリデザインの色が混在し、境界がわかりにくくなっている場合に使います。3種類から選択できます。

アプリ操作ではどのマッチング方式を使えばよいか

アプリデザインでは、 操作する箇所をロボットにどの方法で認識させるかを選択します。

マッチング方式 特徴
要素 アプリ内の要素を認識します。実行するPCによる変化が少なく、画像による認識と比較して安定して動作しやすい方式です。
画像 アプリ画面の画像を使って操作対象を認識します。実行するPCの環境によって画像が変化する場合があります。
文字 画面上の文字をOCRで認識します。OCRによる認識のため、文字によっては正しく認識できない場合があります。

操作対象を要素として認識できる場合は、 まず要素マッチングで操作できるか確認します。

要素による操作が難しい場合は、 操作する画面や対象に応じて 文字マッチングや画像マッチングを検討してください。

アプリデザインの画面が実際のアプリと違う場合

接続中のアプリの表示と、 アプリデザインに表示されている画面が異なる場合は、 「画像を読込み」を使用します。

現在の画面をすぐに読み込みたい場合は 「すぐに読込み」を使用します。

メニューを開くなど、 人が操作してから画面を読み込みたい場合は、 「5～30秒後に再読込み」を使用します。

操作する箇所を正しく認識しているか確認する

設定した操作箇所をJobAutoが正しく認識しているか確認したい場合は、 「操作対象にフォーカス」を使用します。

すぐに確認する場合は「すぐにフォーカス」、 人がアプリを操作して目的の画面を表示してから確認する場合は、 「5～30秒後にフォーカス」を使用します。

アプリとアプリデザインの境界が分かりにくい場合

アプリデザインに表示されているアプリと アプリデザイン側の色が混在して、 画面の境界が分かりにくい場合は 「背景色」を変更します。

背景色を変更することで、 アプリデザイン上で操作対象となる範囲を確認しやすくできます。

アプリ操作のアクションを作成する基本的な流れ

初めてアプリ操作のアクションを作成する場合は、 アプリの起動、接続、マッチング方式の選択、 アクション作成までの基本的な流れも確認してください。

JobAutoでアプリ操作のアクションを作成する方法はこちら

アプリ操作がうまくいかない場合

操作したい箇所を認識できない場合は、 まずマッチング方式が操作対象に合っているか確認してください。

アプリデザインに表示されている画面が最新の状態でない場合は、 「画像を読込み」を実行します。

操作対象を正しく認識しているか確認したい場合は、 「操作対象にフォーカス」を使用してください。

アプリ操作マニュアル・トラブルシューティング一覧はこちら

21件のコメント

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。