JobAutoでアプリ操作のアクションを作成する方法

★質問・概要

Q.JobAutoのロボデザインで、Windowsアプリを操作するアクションはどのような手順で作成すればよいですか? ブラウザやExcelのように操作箇所を直接右クリックしても、アクションメニューが表示されません。

★回答

JobAutoでアプリ操作のアクションを作成するには、操作対象のアプリを起動し、起動中のアプリへ接続して、アプリデザインで操作箇所を指定します。操作対象に応じたマッチング方式を選び、マウス操作や値入力などのアクションを作成してください。

ブラウザやExcelとは異なり、Windowsアプリの画面を直接右クリックするだけでは、JobAutoのアクション作成メニューは表示されません。対象のアプリに接続した後、「アプリデザイン」を開き、マッチング方式を選択して操作箇所を右クリックしてください。

初めてアプリ操作を作成する場合は、以下の手順に沿って設定してください。

  1. 対象のアプリを起動する
  2. JobAutoから起動中のアプリへ接続する
  3. アプリデザインでマッチング方式を選ぶ
  4. 操作したい箇所を指定し、アクションを作成する

1.対象のアプリを起動する

まず、ロボットで操作するアプリを起動します。主に「アプリを開く」アクションで起動する方法と、デスクトップやタスクバーのショートカットから起動する方法があります。

1-1.「アプリを開く」アクションを使う場合

「アプリを開く」アクションを使い、対象となるアプリの実行ファイルを指定して起動します。詳しい設定方法は「アプリを開く」アクションのマニュアルをご確認ください。

1-2.デスクトップやタスクバーのショートカットから起動する場合

アプリに接続するアクションを使ってデスクトップやタスクバーへ接続し、マウス操作で対象アプリのショートカットをクリックして起動します。

「アプリを開く」アクションでは起動できないアプリの場合は、ショートカットからの起動も検討してください。

2.起動したアプリに接続する

「起動中のアプリに接続」アクションを使って、操作するアプリに接続します。接続先の一覧から、ロボットで操作するアプリを選択してください。

接続先のアプリ名などに、実行するたびに変わる部分が含まれている場合は、可変となる部分を正規表現の「.*」に変更します。

例えば、以下の画面ではMeryというアプリに接続していますが、ファイル名の「20250519.txt」という箇所が可変です。

Meryのウィンドウ名に日付を含むファイル名が表示されている接続設定画面

可変となる「20250519.txt」の部分を「.*」に変更します。

起動中のアプリに接続する設定で可変部分を正規表現に変更した画面

「.*」は任意の文字列に一致する正規表現です。指定範囲を広くしすぎると、別のウィンドウも一致する可能性があるため、変わらない部分は残して指定してください。

接続先の詳しい指定方法は、「起動中のアプリに接続」アクションのマニュアルをご確認ください。

3.アプリデザインでマッチング方式を選択する

アプリへの接続を実行するとアプリデザインが起動します。アプリデザインでは、操作対象に応じてマッチング方式を選択してください。

アプリデザインはロボデザインのリボンから開くこともできます。バージョン0.10.8以降では、コントロールパネルのアプリメニューにある「アプリデザインを開く」からも起動できます。詳しくはアプリデザインを開く方法をご確認ください。

操作対象を要素として認識できる場合は、まず要素マッチングを検討してください。要素での操作が難しい場合は、文字マッチングや画像マッチングなどを使用します。

アプリデザインで要素・文字・画像などのマッチング方式を選択する画面

3-1.要素マッチング

アプリ内のボタンや入力欄などの要素を認識して操作します。画像マッチングと比較して実行するPCによる影響を受けにくく、安定して動作しやすい方式です。操作対象を要素として認識できる場合は、要素マッチングの利用を検討してください。

3-2.文字マッチング

アプリ画面上に表示されている文字をOCRで認識して操作します。要素で操作することが難しく、画面上の文字を基準に操作したい場合に使用します。OCRで認識するため、文字によっては正しく読み取れない場合があります。

3-3.画像マッチング

アプリ画面の画像を使って操作対象を認識します。画像はロボットを実行するPCの環境や画面表示によって変化することがあるため、要素マッチングと比較して安定しにくい場合があります。

3-4.表形式マッチング

アプリ内の表形式のデータを操作する場合に使用します。表に対するマウス操作、値取得、値入力などのアクションを作成できます。

それぞれの機能については、アプリデザインの使い方をご確認ください。

4.アクションを作成する

アプリデザインで操作したい箇所を選択して右クリックし、表示されたメニューから作成したいアクションを選択してください。

アプリデザインで操作したい箇所を右クリックしてアクションを作成する画面

クリックする場合はマウス操作、文字を入力する場合は値入力など、目的に合ったアクションを作成します。作成後は、対象の画面で正しく動作するかテストしてください。

5.操作中に別のウィンドウが表示された場合

アクションを設定できるのは、現在接続しているアプリのウィンドウです。

操作中のアプリから別のウィンドウが表示され、そのウィンドウを操作したい場合は、「起動中のアプリに接続」アクションを使って対象のウィンドウへ接続し直してから、アクションを作成します。

接続の設定方法は、起動中のアプリに接続する方法をご確認ください。

6.アプリ操作がうまくいかない場合

操作したい箇所を選択できない、画像を正しく認識できない、値入力がうまくいかないなどの場合は、使用しているマッチング方式と認識結果を確認してください。

画像マッチングで認識が安定しない場合は、JobAutoの画像マッチングで「特徴で判定」を使う方法も参考にしてください。

アプリ操作アクションを実行するとロボデザインが「応答なし」になり、操作できなくなる場合は、JobAutoでアプリ操作を実行するとロボデザインが応答なしになる場合の対処方法をご確認ください。対象アプリの処理待ち、背面の確認画面、不要ファイルの影響などを順に切り分ける方法を説明しています。

詳しい設定方法や関連FAQは、JobAutoのアプリ操作マニュアル・トラブルシューティング一覧から確認できます。


関連するマニュアル・FAQ

JobAutoのFAQ記事一覧へ戻る

2件のコメント

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。