JobAutoでブラウザの要素にフォーカスが当たらない場合の対処方法

JobAutoのブラウザ操作で、操作したいWebページの要素にフォーカス(ピンクの四角)が当たらず、ブラウザアクションを作成できない場合の対処方法を説明します。

Webサイトによっては、操作したい箇所をクリックして選択してもフォーカスが表示されないことがあります。 この現象はChromeやEdgeで発生する場合があります。Firefoxでは2025年8月28日時点では発生していません。

フォーカスが当たる
フォーカスが当たらない

フォーカスが当たらないWebサイトでは、通常の設定のままF2キーを押しても要素の一覧を表示できない場合があります。
その場合は、JobAutoの「ブラウザの要素指定方法」を手動設定へ変更してから、対象のWebページを開き直します。

JobAutoでブラウザの要素にフォーカスが当たらない場合の対処方法

ブラウザの要素指定方法を「手動設定」に変更します。
設定変更後にブラウザ起動アクションからロボットを再実行し、操作したいWebページを表示します。

1.ロボット実行時の設定を開く

JobAutoのコントロールパネルから「オプション」→「ロボット実行時の設定」を開きます。

2.ブラウザの要素指定方法を手動設定へ変更する

「ブラウザの要素指定方法」を手動設定へ変更します。

設定を変更したら、ブラウザ起動アクションからロボットを再実行し、操作したいWebページを表示してください。

F2キーから操作したい要素を選択する

手動設定で対象のWebページを表示した状態でF2キーを押すと、ブラウザ上の要素一覧が表示されます。

一覧から操作したい要素を選択し、右クリックしてJobAutoのメニューを表示します。
そこから作成したいブラウザアクションを選択してください。

一覧が表示される
右クリックしてメニューを表示、アクションを選択する

ブラウザの要素指定方法を変更するときの注意点

スケジュール実行でも要素指定方法は引き継がれる

自動設定で作成したアクションは、スケジュール実行時も自動設定で実行されます。
手動設定で作成したアクションは、スケジュール実行時も手動設定で実行されます。

手動設定でしかフォーカスが当たらないサイトは自動設定で実行しない

フォーカスが当たらないWebサイトで、手動設定へ変更してアクションを作成した場合は、そのまま手動設定で実行してください。

手動設定でしか要素を取得できないWebサイトで、自動設定へ変更してテストやスケジュール実行を行うと、
「要素が見つかりません」というエラーが発生する場合があります。

そのため、フォーカスが当たらないWebサイトでは、アクションの作成時だけでなく実行時も手動設定のまま使用してください。

一方、通常どおりフォーカスが当たるWebサイトでは、自動設定で作成したアクションを手動設定で実行したり、手動設定で作成したアクションを自動設定で実行したりすることもできます。

右クリックや要素取得で別の問題が発生する場合

フォーカスは当たるものの、右クリックしてもJobAutoのメニューが表示されない場合は、「ブラウザアクションを追加できないとき」の手順も確認してください。

右クリックするとWebサイト側のメニューやプルダウン自体が消えてしまう場合は、「右クリックしてメニューを表示できない場合は?」の手順が該当します。

JobAutoでAIエージェントを実行する方法|プロンプト・画像読み取り

★アクションの説明、概要

JobAutoからAIエージェントへプロンプトを送り、 回答を取得する方法について説明します。

「AIエージェントを実行」アクションでは、 AIへ質問や指示を送信し、 その結果を変数へ格納できます。

プロンプトには変数やシステム値を使用できるため、 ロボットの処理中に取得したデータを AIへ渡して処理させることもできます。

また、 画像ファイルをAIエージェントへ送り、 画像の内容を読み取った結果を取得することもできます。

このアクションを使用するには、 別途契約いただいたAPI_KEYが必要です。 契約内容や料金については営業担当までお問い合わせください。


★アクションの作成方法

画像ファイルから文字を読み取る

AIへ質問して回答を取得する


★アクションの設定画面について

アクション設定画面の設定項目について説明します。

1.基本設定

1-1.URL

AIエージェントの以下URLを設定します。

  https://openai.jobauto.jp/rpa/execute_agent

openai.jobauto.jpへのアクセスが制限されている場合は、AIエージェントの実行時にエラーが発生します。通信できるようアクセス制限の設定を確認してください。

1-2.API_KEY

AIエージェントを実行するためのAPI_KEYを設定します。API_KEYは株式会社シジャム・ビーティービーから払い出します。

1-3.入力情報

AIエージェントへ送信するプロンプトを設定します。変数やシステム値を使用できます。システム値の説明はこちら。

1-4.添付ファイルパス

AIエージェントに読み取らせる画像ファイルのパスを設定します。変数やシステム値を使用できます。システム値の説明はこちら。

1-5.戻り値

AIエージェントから取得した結果を格納する変数を設定します。


2.高度な設定

2-1.プロキシ

・Proxyを使用する

プロキシサーバを使用して通信します。

・Proxyを使用しない

プロキシサーバを使用せずに通信します。

2-2.応答を格納する変数

AIエージェントから返されるJSON形式の応答文字列を格納する変数を設定します。

2-3.タイムアウト

AIエージェントからの応答を待つ時間の上限を設定します。

2-4.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

「エラー時の処理」で「条件分岐の次のフローに移動」を選択した場合に設定します。アクションでエラーが発生したときの移動先となる条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。


JobAutoから生成AIへ質問する場合

JobAutoからAIへ質問や指示を送り、 回答を取得したい場合は、 「AIエージェントを実行」アクションを使用します。

「入力情報」にプロンプトを設定してAIエージェントを実行し、 返された結果を変数へ格納できます。

変数を使ってAIへプロンプトを送る場合

「入力情報」には、 変数を使用できます。

Web、Excel、アプリ、データベースなどから取得した値を 変数へ格納し、 その変数をプロンプトの一部として使用できます。

入力情報では、 システム値も使用できます。

画像ファイルをAIエージェントへ送る場合

画像の内容をAIエージェントに読み取らせたい場合は、 「添付ファイルパス」に 画像ファイルのパスを設定します。

添付ファイルパスには、 変数やシステム値を使用できます。

ロボットの処理中に取得した画像ファイルのパスを 変数へ格納することで、 処理対象に応じてAIへ送る画像を変更できます。

AIの回答を変数へ格納する場合

AIエージェントから返された結果を 後続のロボット処理で使用したい場合は、 「戻り値」に変数を設定します。

AIから取得した結果を変数へ格納し、 後続の変数操作や条件分岐などから使用できます。

AIエージェントからのJSON応答を取得する場合

高度な設定の 「応答を格納する変数」を設定すると、 AIエージェントから返された JSON形式の応答文字列を変数へ格納できます。

JSON形式の応答内容を後続処理で利用する場合は、JSON操作などと組み合わせて 必要な値を取得できます。

API_KEYについて

「AIエージェントを実行」アクションを使用するには、 別途契約いただいたAPI_KEYが必要です。

API_KEYは株式会社シジャム・ビーティービーから払い出します。 契約内容や料金については営業担当までお問い合わせください。

AIエージェントへ接続できない場合

AIエージェントでは、 次のURLへ通信します。

https://openai.jobauto.jp/rpa/execute_agent

openai.jobauto.jpへのアクセスが制限されている環境では、 AIエージェントの実行時にエラーが発生します。

社内ネットワークやセキュリティ製品などで アクセス制限を行っている場合は、 通信できるよう設定を確認してください。

プロキシ環境からAIエージェントを使用する場合

外部通信にプロキシサーバを使用する環境では、 高度な設定の「プロキシ」を確認します。

設定動作
Proxyを使用するプロキシサーバを使用して通信します。
Proxyを使用しないプロキシサーバを使用せずに通信します。

AIからの回答を待つ時間を設定する場合

高度な設定の「タイムアウト」では、 AIエージェントからの応答を待つ 時間の上限を設定します。

AIエージェントから回答が返る前に タイムアウトになる場合は、 タイムアウトの設定を確認してください。

AIエージェントを実行する基本的な流れ

  1. AIエージェントのURLを設定します。
  2. 払い出されたAPI_KEYを設定します。
  3. 「入力情報」にAIへ送るプロンプトを設定します。
  4. 画像を読み取らせる場合は、 「添付ファイルパス」に画像ファイルを設定します。
  5. 「戻り値」に AIから取得した結果を格納する変数を設定します。
  6. 必要に応じて、 プロキシ、JSON応答の格納先、タイムアウトを設定します。
  7. AIエージェントを実行し、 取得した結果を後続の処理で使用します。

AIエージェントでエラーになる場合の確認順序

  1. 「URL」に AIエージェントの正しいURLが設定されているか確認します。
  2. openai.jobauto.jpへ アクセスできる環境になっているか確認します。
  3. 「API_KEY」に 払い出されたAPI_KEYが設定されているか確認します。
  4. 「入力情報」に AIへ送るプロンプトが設定されているか確認します。
  5. 入力情報に変数を使用している場合は、 実行時に変数へ想定した値が 格納されているか確認します。
  6. 画像を送る場合は、 「添付ファイルパス」に指定した 画像ファイルが存在しているか確認します。
  7. 添付ファイルパスを変数で指定している場合は、 変数の値を確認します。
  8. プロキシ環境の場合は、 「Proxyを使用する」の設定を確認します。
  9. 応答が返る前にエラーになる場合は、 「タイムアウト」の設定を確認します。
  10. 「高度な設定」の「アクション有効」に チェックが入っているか確認します。
  11. エラーが発生している場合は、 「エラー発生時の対応」と実行ログを確認します。

関連する変数操作・設定