JobAutoでAIエージェントを実行する方法|プロンプト・画像読み取り

★アクションの説明、概要

JobAutoからAIエージェントへプロンプトを送り、 回答を取得する方法について説明します。

「AIエージェントを実行」アクションでは、 AIへ質問や指示を送信し、 その結果を変数へ格納できます。

プロンプトには変数やシステム値を使用できるため、 ロボットの処理中に取得したデータを AIへ渡して処理させることもできます。

また、 画像ファイルをAIエージェントへ送り、 画像の内容を読み取った結果を取得することもできます。

このアクションを使用するには、 別途契約いただいたAPI_KEYが必要です。 契約内容や料金については営業担当までお問い合わせください。


★アクションの作成方法

画像ファイルから文字を読み取る

AIへ質問して回答を取得する


★アクションの設定画面について

アクション設定画面の設定項目について説明します。

1.基本設定

1-1.URL

AIエージェントの以下URLを設定します。

  https://openai.jobauto.jp/rpa/execute_agent

openai.jobauto.jpへのアクセスが制限されている場合は、AIエージェントの実行時にエラーが発生します。通信できるようアクセス制限の設定を確認してください。

1-2.API_KEY

AIエージェントを実行するためのAPI_KEYを設定します。API_KEYは株式会社シジャム・ビーティービーから払い出します。

1-3.入力情報

AIエージェントへ送信するプロンプトを設定します。変数やシステム値を使用できます。システム値の説明はこちら。

1-4.添付ファイルパス

AIエージェントに読み取らせる画像ファイルのパスを設定します。変数やシステム値を使用できます。システム値の説明はこちら。

1-5.戻り値

AIエージェントから取得した結果を格納する変数を設定します。


2.高度な設定

2-1.プロキシ

・Proxyを使用する

プロキシサーバを使用して通信します。

・Proxyを使用しない

プロキシサーバを使用せずに通信します。

2-2.応答を格納する変数

AIエージェントから返されるJSON形式の応答文字列を格納する変数を設定します。

2-3.タイムアウト

AIエージェントからの応答を待つ時間の上限を設定します。

2-4.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

「エラー時の処理」で「条件分岐の次のフローに移動」を選択した場合に設定します。アクションでエラーが発生したときの移動先となる条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。


JobAutoから生成AIへ質問する場合

JobAutoからAIへ質問や指示を送り、 回答を取得したい場合は、 「AIエージェントを実行」アクションを使用します。

「入力情報」にプロンプトを設定してAIエージェントを実行し、 返された結果を変数へ格納できます。

変数を使ってAIへプロンプトを送る場合

「入力情報」には、 変数を使用できます。

Web、Excel、アプリ、データベースなどから取得した値を 変数へ格納し、 その変数をプロンプトの一部として使用できます。

入力情報では、 システム値も使用できます。

画像ファイルをAIエージェントへ送る場合

画像の内容をAIエージェントに読み取らせたい場合は、 「添付ファイルパス」に 画像ファイルのパスを設定します。

添付ファイルパスには、 変数やシステム値を使用できます。

ロボットの処理中に取得した画像ファイルのパスを 変数へ格納することで、 処理対象に応じてAIへ送る画像を変更できます。

AIの回答を変数へ格納する場合

AIエージェントから返された結果を 後続のロボット処理で使用したい場合は、 「戻り値」に変数を設定します。

AIから取得した結果を変数へ格納し、 後続の変数操作や条件分岐などから使用できます。

AIエージェントからのJSON応答を取得する場合

高度な設定の 「応答を格納する変数」を設定すると、 AIエージェントから返された JSON形式の応答文字列を変数へ格納できます。

JSON形式の応答内容を後続処理で利用する場合は、JSON操作などと組み合わせて 必要な値を取得できます。

API_KEYについて

「AIエージェントを実行」アクションを使用するには、 別途契約いただいたAPI_KEYが必要です。

API_KEYは株式会社シジャム・ビーティービーから払い出します。 契約内容や料金については営業担当までお問い合わせください。

AIエージェントへ接続できない場合

AIエージェントでは、 次のURLへ通信します。

https://openai.jobauto.jp/rpa/execute_agent

openai.jobauto.jpへのアクセスが制限されている環境では、 AIエージェントの実行時にエラーが発生します。

社内ネットワークやセキュリティ製品などで アクセス制限を行っている場合は、 通信できるよう設定を確認してください。

プロキシ環境からAIエージェントを使用する場合

外部通信にプロキシサーバを使用する環境では、 高度な設定の「プロキシ」を確認します。

設定動作
Proxyを使用するプロキシサーバを使用して通信します。
Proxyを使用しないプロキシサーバを使用せずに通信します。

AIからの回答を待つ時間を設定する場合

高度な設定の「タイムアウト」では、 AIエージェントからの応答を待つ 時間の上限を設定します。

AIエージェントから回答が返る前に タイムアウトになる場合は、 タイムアウトの設定を確認してください。

AIエージェントを実行する基本的な流れ

  1. AIエージェントのURLを設定します。
  2. 払い出されたAPI_KEYを設定します。
  3. 「入力情報」にAIへ送るプロンプトを設定します。
  4. 画像を読み取らせる場合は、 「添付ファイルパス」に画像ファイルを設定します。
  5. 「戻り値」に AIから取得した結果を格納する変数を設定します。
  6. 必要に応じて、 プロキシ、JSON応答の格納先、タイムアウトを設定します。
  7. AIエージェントを実行し、 取得した結果を後続の処理で使用します。

AIエージェントでエラーになる場合の確認順序

  1. 「URL」に AIエージェントの正しいURLが設定されているか確認します。
  2. openai.jobauto.jpへ アクセスできる環境になっているか確認します。
  3. 「API_KEY」に 払い出されたAPI_KEYが設定されているか確認します。
  4. 「入力情報」に AIへ送るプロンプトが設定されているか確認します。
  5. 入力情報に変数を使用している場合は、 実行時に変数へ想定した値が 格納されているか確認します。
  6. 画像を送る場合は、 「添付ファイルパス」に指定した 画像ファイルが存在しているか確認します。
  7. 添付ファイルパスを変数で指定している場合は、 変数の値を確認します。
  8. プロキシ環境の場合は、 「Proxyを使用する」の設定を確認します。
  9. 応答が返る前にエラーになる場合は、 「タイムアウト」の設定を確認します。
  10. 「高度な設定」の「アクション有効」に チェックが入っているか確認します。
  11. エラーが発生している場合は、 「エラー発生時の対応」と実行ログを確認します。

関連する変数操作・設定

JobAutoの画像マッチングが安定しない場合の対処方法|特徴で判定

★質問・概要

Q.JobAutoのアプリ操作で画像マッチングを使用すると、画像が見つからなかったり、実行するPCによって認識が安定しなかったりします。どこを確認すればよいですか?

★回答

A.「見た目で判定」で画像を認識しにくい場合は、「特徴で判定」を試してください。 対象画像の指定範囲を見直し、「操作対象にフォーカス」で目的の位置が認識されているかを確認します。

画像が見つからない場合は、判定方法だけでなく、画像一致率、検索範囲、画面の表示状態、スケジュール実行ログも順に確認してください。「特徴で判定」でも必ず安定するわけではありません。

1.「見た目で判定」と「特徴で判定」を確認する

JobAutoの画像マッチングでは、指定した画像の探し方として「見た目で判定」と「特徴で判定」を選択できます。操作対象や画面の表示状態に応じて、認識しやすい方法を選びます。

判定方法画像の探し方確認するポイント
見た目で判定指定した画像の見た目を使って探す表示色や形状などが変わると見つからないことがある
特徴で判定指定した画像の特徴を使って探す特徴が分かる範囲を指定し、認識箇所を確認する

「見た目で判定」で見つけにくい場合は、「特徴で判定」に変更して試します。違いの詳しい説明は見た目で判定と特徴で判定の違いも参考にしてください。

JobAutoの画像マッチングで見た目で判定と特徴で判定を選択する画面

2.「特徴で判定」では対象画像の範囲を見直す

「特徴で判定」を使うときは、画像の特徴を捉えられるよう、操作対象として指定する画像を大きめにする方法が有効な場合があります。ボタンや文字だけでなく、周囲の識別しやすい特徴も含められるか確認してください。

ただし、画像を広げすぎて、時刻・日付・件数・通知など実行のたびに変わる部分を含めると、かえって認識しにくくなる場合があります。必要な特徴は含め、変化しやすい部分を避けながら調整します。

特徴で判定するときに認識対象の画像範囲を広めに指定する例

画像の指定範囲を変更した場合は、画像内のクリック位置(X・Y座標)も意図した場所になっているか確認してください。画像の範囲が広がると、指定画像内での操作位置を見直す必要がある場合があります。

3.「操作対象にフォーカス」で認識結果を確認する

画像を指定した後は、アプリデザインの「操作対象にフォーカス」を使用して、JobAutoが実際にどこを操作対象として認識しているかを確認します。

アプリデザインの操作対象にフォーカスで画像の認識位置を確認する画面
  1. 指定した画像をアクションの設定画面で確認する。
  2. 「操作対象にフォーカス」を実行する。
  3. 目的のボタンや入力欄の位置にフォーカスが当たるか確認する。
  4. 別の位置が認識される場合は、画像の範囲・判定方法・一致率・検索範囲を見直す。

アプリデザイン上の画面が現在のアプリと異なる場合は、先に「画像を読込み」で画面を更新してください。詳しくはアプリデザインの使い方をご確認ください。

4.画像が見つからない・別の場所を操作する場合の確認

4-1.画像一致率と現在の一致率

「画像一致率」は、指定した画像と画面上の画像をどの程度一致したときに操作対象とするかを設定します。設定を高くすると判定が厳しくなり、目的の画像が表示されていても見つからないことがあります。

設定画面に表示される「現在の一致率」も確認して調整してください。一致率をむやみに下げると、似た別の画像を操作対象として認識するおそれがあります。 調整後はフォーカス先を確認します。

4-2.画像を探す範囲

画面内に同じような画像が複数ある場合は、「この範囲で探す」を使用して検索範囲を絞る方法を検討します。

範囲指定内容注意点
座標アプリ内の指定した座標範囲から探す解像度や画面サイズの変更に注意
比率アプリ内の比率で範囲を指定するアプリの配置や表示内容の変更に注意
全体接続中のアプリ全体から探す同じような画像が複数見つかる可能性

検索範囲を狭くした場合は、対象の画像がその範囲内に表示されることを確認してください。

4-3.作成PCと実行PCの画面表示

画像マッチングは画面の見た目を使うため、PCごとの解像度、Windowsの表示倍率、アプリのウィンドウサイズ、ボタンの表示状態などが変わると認識結果に影響する場合があります。ロボットを作成したPCと、実際にスケジュール実行するPCの表示を比較してください。

画面表示が切り替わる途中で操作していないかも確認します。対象画像が表示されるまで時間がかかる場合は、画像が見つかるまでのタイムアウト設定も確認してください。

4-4.スケジュール実行ログに一致した画像を残す

「【画像】マウス操作」などの高度な設定にある「一致したイメージショットをログに残す」を有効にすると、スケジュール実行ログで認識した画像を確認できます。ロボデザイン上では正しく動くのにスケジュール実行で異なる位置を操作する場合は、実際に認識された画像と対象画面を比較してください。

ログに業務データや個人情報を含む画面が残る場合は、閲覧権限と保管方法にも注意してください。

5.画像マッチングが安定しない場合の確認順序

  1. 「見た目で判定」と「特徴で判定」のどちらを使っているか確認する。
  2. 「特徴で判定」の場合は、特徴を捉えられる画像範囲へ調整する。
  3. 「画像を読込み」で現在の画面を取得する。
  4. 「操作対象にフォーカス」で正しい位置が認識されるか確認する。
  5. 画像一致率と現在の一致率を比較する。
  6. 検索範囲と画像内のクリック位置が適切か確認する。
  7. 実行PCの解像度・表示倍率・アプリ画面の違いを確認する。
  8. スケジュール実行ログに残した画像で認識箇所を確認する。

6.それでも安定しない場合

操作対象を要素として認識できる場合は、画像マッチングではなく要素マッチングで操作できないか確認します。画面上の文字をOCRで指定する方法もありますが、文字マッチングも認識状態に左右されるため、実際の画面に合う方式を選んでください。

画像の指定範囲や操作位置をさらに調整する場合は、画像マッチングの画像範囲・操作位置を調整する方法も参考にしてください。


関連するマニュアル・FAQ

JobAutoのFAQ記事一覧へ戻る

リリースノート – 0.10.12 (2025-02-17)

◆機能追加

>ロボデザイン

・アプリ操作の各アクションで設定するタイムアウト時間をまとめて変更する機能を追加しました。こちらをご覧ください。

>ブラウザ操作

・ブラウザ操作の要素に対するアクションの候補にダウンロードを追加しました。XXXXを見つけてダウンロードをクリックすると、ダウンロードの設定がされた状態で設定画面が開きます。

・フリーハンドアクションでPDFへパスワードの設定や解除する機能を追加しました。こちらの共通部品で利用可能です。

>エクセル操作

・印刷範囲の設定アクションを追加しました。こちらをご覧ください。

・エクセルを開くアクションに外部リンクを更新して開く機能を追加しました。こちらをご覧ください。

>アプリ操作

・以下の各アクションへproxyを使用する機能を追加しました。
【要素】文字変換アクションはこちらをご覧ください。
指定の文字に対してマウス操作アクションはこちらをご覧ください。
指定の文字が出るまで待つアクションはこちらをご覧ください。
指定の文字が消えるまで待つアクションはこちらをご覧ください。
文字変換アクションはこちらをご覧ください。
この範囲内の指定の文字に対してマウス操作アクションはこちらをご覧ください。
【表】値取得アクションはこちらをご覧ください。

>ファイル操作

・CSVの再フォーマットアクションを追加しました。こちらをご覧ください。

>その他

・イメージ解析アクションを追加しました。こちらをご覧ください。

・メール送信アクションで添付ファイルを指定する機能へ、指定したフォルダに保存されているファイルをすべて添付する機能を追加しました。こちらをご覧ください。

・OCR読み込みアクションへproxyを使用する機能を追加しました。こちらをご覧ください。

>ROBOWEB

・管理者用のレポート表示機能を追加しました。こちらをご覧ください。

・ログインユーザーに割り当てる権限に種類を追加しました。こちらをご覧ください。

・ユーザー編集画面へユーザーが閲覧可能なプロジェクトの一覧を追加しました。こちらをご覧ください。

・ユーザー一覧画面へ表示するユーザーをフィルターする機能を追加しました。こちらをご覧ください。

・ログ詳細画面へ表示するログをフィルターする機能を追加しました。こちらをご覧ください。

>ロボロック

・スクリーンセーバーを起動しないようにする設定を追加しました。こちらをご覧ください。


◆機能修正

>ロボデザイン

・ロボデザインの起動速度を改善しました。

・ロボット名や変数一覧のグループ名、変数名が長い場合に表示が一部見えない問題がありました。それぞれへマウスカーソルをあわせたときに名前のすべてを表示するように変更しました。

>ブラウザ操作

・アプリを開くアクションでChromeやEdgeを起動~ブラウザ起動アクションでChrome(アプリケーション)やEdge(アプリケーション)で開いたChromeやEdgeでも、ファイルをダウンロードするフォルダやファイル名を指定できるよう変更しました。

>エクセル操作

・エクセル操作の各アクションで処理可能な列の数の上限を500列から1000列へ変更しました。

>ファイル操作

・ファイル削除アクションを自分以外が作成したファイルも削除できるように変更しました。

>ROBOWEB

・ログの一覧に表示される行数を5000へ変更しました。

・自動的にログファイルを削除する機能へ削除されず残ったままになっているログファイルも削除するように変更しました。

・デイリーバックアップを設定していなかった場合に、トップページに警告を出すように変更しました。


◆バグフィックス

>ロボデザイン

・変数の使用中のアクション一覧の表示サイズを修正しました。

>ブラウザ操作

・Chromeを閉じた時にChromeのプロセスが残ってしまう不具合を修正しました。

・Chromeを使っている場合にスプレッドシートの値編集アクションを実行すると、値が二重入力される不具合を修正しました。

>エクセル操作

・画像の挿入アクションのファイル名へ$[変数名]という方法で変数を設定できなかった不具合を修正しました。

・変換出力アクションでpdfを出力するときにエラーが発生した場合、3回まで自動的にリトライするように修正しました。

・セルのクリアアクションで処理対象のシートを変更して保存しても、変更前のシートに戻ってしまう不具合を修正しました。

>アプリ操作

・【表】値取得アクションで、事前に表を再読み込みにチェックがあるとエラーになる不具合を修正しました。

>変数操作

・変数の値を加工アクションで加工する対象の変数の文字数が多いと、アクションの編集画面が開かない不具合を修正しました。編集画面を開くときに変数の文字数を10万文字までしか読み込まないようにしています。

>その他

・圧縮解凍アクションで一部の特殊文字もパスワードへ使用できるように修正しました。

>ROBOWEB

・ログの総件数が一定数をこえると性能が劣化する不具合を修正しました。

・ログが一定のサイズをこえるとログの詳細画面が開かなくなる不具合を修正しました。

>ロボクライアント

・Chromeドライバーの自動更新がまれにできていない不具合を修正しました。

>ロボアップデーター

・バージョンアップを行ったときにまれに異常終了する不具合を修正しました。