★概要
JobAutoのアプリ操作で、スクロールしないと画面に表示されない一覧項目や文字列を、要素として認識できない場合の確認方法を説明します。
Windowsアプリケーションによっては、画面に表示されていない項目の情報を取得できず、要素マッチングで操作対象を選択できないことがあります。一方、画面外の項目でも要素情報を取得できるアプリケーションもあります。JobAutoが画面に表示された項目だけを操作できる、という意味ではありません。
目的の項目を認識できないときは、まずスクロールして項目を表示する方法や、アプリケーションの検索・絞り込み機能で表示件数を減らす方法を確認してください。
1．画面外の項目を認識できないことがある理由
例えば、業務アプリケーションの一覧に多数の行があっても、画面上には一部の行しか表示されていないことがあります。スクロールすると次の行が表示される画面では、アプリケーションの構造によって、まだ表示されていない行を要素として認識できない場合があります。
そのため、次の二つを区別して確認してください。
- 画面に表示されていない：目的の項目がスクロール先などにあり、現在の画面では見えていない状態です。
- 要素として認識できない：画面上に見えていても、アプリケーションの構造や選択したマッチング方式によって、JobAutoが目的の項目を要素として取得できない状態です。
スクロールして表示すれば認識できる場合もありますが、表示しただけで必ず要素として認識できるわけではありません。
2．スクロールして目的の項目を表示する
操作したい項目が一覧の下の方にある場合は、まずアプリケーションをスクロールし、対象の項目が画面上に表示された状態で認識できるか確認します。
- JobAutoから操作対象のアプリケーションへ接続します。
- アプリケーションの一覧などをスクロールし、操作したい項目を画面に表示します。
- アプリデザインに表示されている内容が古い場合は、「画像を読込み」で画面を再読み込みします。
- 要素マッチングで操作対象を選択し、「操作対象にフォーカス」で正しい項目を認識しているか確認します。
- ロボットの実行時にも、操作対象の項目が認識できる状態になるようにアクションの順序を確認します。
ロボット作成時には表示されていても、実行時にスクロール位置や一覧の表示内容が変わると、同じ項目を認識できない場合があります。実行時の画面状態も確認してください。
3．検索・絞り込みで表示する項目数を減らす
アプリケーションに検索欄やフィルター機能が用意されている場合は、操作対象となるデータを先に絞り込む方法も有効です。
例えば、一覧から特定の顧客や商品を選択する処理では、先に顧客名や商品コードなどを条件に検索し、対象となる行を画面に表示してからアクションを実行します。
- 操作対象のアプリケーションに検索・絞り込み機能があるか確認します。
- 目的の項目を特定できる条件を入力し、一覧を絞り込みます。
- 目的の項目が表示されたことを確認してから、要素マッチングで選択します。
- 絞り込み条件が変わる場合も、ロボット実行時に正しい対象が表示されることを確認します。
検索・絞り込み機能の有無や操作方法は、対象のアプリケーションによって異なります。アプリケーション側にその機能がない場合は、画面上のスクロールや別のマッチング方式を検討してください。
4．要素・画像・文字のマッチング方式を確認する
アプリデザインでは、要素・画像・文字のマッチング方式を使用できます。操作したい項目が要素として取得できない場合は、項目の表示状態と、どの方式で認識できるかを確認してください。
| マッチング方式 | 確認する内容 |
|---|---|
| 要素 | アプリケーションが操作対象の要素情報を取得できる状態か確認します。画面外の要素を認識できるかどうかはアプリケーションによって異なります。 |
| 画像 | 画面に表示されている画像を使って対象を探します。対象が画面外にある場合は、スクロールなどで表示する必要があります。 |
| 文字 | 画面上に表示された文字をOCRで認識します。文字が見えているか、正しく認識できる状態か確認します。 |
要素として認識できる場合は、まず要素マッチングを検討します。要素の認識が難しい場合は、画面や操作対象に応じて画像マッチングや文字マッチングも検討してください。ただし、方式を変更すれば必ず操作できるわけではありません。
5．項目が表示されていても要素を認識できない場合
スクロールや絞り込みによって項目を表示しても要素マッチングで選択できない場合は、次の点も確認します。
- アプリの接続先：操作したいアプリケーションやウィンドウに接続しているか確認します。
- 表示状態：目的の項目が実際に画面に表示され、操作できる状態になっているか確認します。
- アプリデザインの画面：実際の画面と異なる場合は「画像を読込み」を実行します。
- 操作対象にフォーカス：要素として選択した箇所が、目的の項目と一致しているか確認します。
- 画面切り替え後の要素情報：すでに作成した要素アクションを実行する場合、画面の変化に応じて高度な設定の「キャッシュクリア」が必要か確認します。
アプリケーション自体を選択できない、またはアプリデザインで操作箇所を指定できない場合は、関連するアプリ操作マニュアルも確認してください。
6．ロボット作成時と実行時の画面状態をそろえる
ロボット作成時は操作できても、実行時には一覧の表示件数・並び順・スクロール位置・検索条件などが変化する場合があります。
特定の行を操作する処理では、画面内の位置だけに依存せず、対象の項目を確認してから操作するようにしてください。検索・絞り込みによって対象を特定できる場合は、その条件もロボットの処理に含めると、画面の表示状態による違いを減らせます。
関連するマニュアル・技術情報
- JobAutoでアプリの操作箇所を選択できない場合の対処方法：アプリデザインで対象を選べない場合の確認方法
- JobAutoのアプリデザインの使い方：画面の再読込み・フォーカス・マッチング方式
- JobAutoでアプリの要素から値を取得する方法：要素認識・キャッシュクリアなどの確認
- JobAutoアプリケーション操作FAQ：アプリ操作で発生する問題と対処方法