RPAの認識方法「画像認識」「座標認識」「オブジェクト認識」とは？違いや特徴・メリットを初心者にも分かりやすく解説

画像を基に認識する「画像認識」

RPAの画像認識とは、画面上の特定の画像やアイコンを認識して操作を行う方法です。

画像認識では、あらかじめRPAツールに「クリックしたいボタン」や「実行したい操作対象のアイコン」を画像として記憶させておき、その画像が画面上に表示されたときに自動的に操作を行います。

たとえば、「デスクトップからExcelを開く」操作を自動化する場合、画像認識は、あらかじめExcelアイコンの画像を記録し、その画像を基に自動的に画面上のアイコンを探してクリックします。このように、記録した画像と実際の画面に表示されている画像を照合して操作するのが、画像認識の特徴です。

画像認識は、システムの特定の画面デザインやアイコン配置に基づいて操作を行うため、設定が非常に簡単で、初心者でも直感的に使用できる利点があります。

このように、画像認識を使ったRPAは、視覚的な要素を基に操作を行うため、特定の画像やアイコンに対して柔軟に対応できるのが特徴です。

画像認識のメリット

RPAの画像認識のメリットには、直感的に使えること（設定の簡単さ）、固定システムのデザインに強いこと、自動化できるシステムやアプリケーションの幅が広いことが挙げられます。それぞれのメリットを詳しく解説します。

画像認識のデメリット

画像認識は、特定の画像やアイコンを基に操作を行うため、画面のレイアウトやデザインが変更されると動作しなくなることがあります。

例えば、アプリケーションのアップデートによってボタンの位置が変わったり、アイコンのデザインが変更されたりすると、RPAロボットが画像を認識できず、自動化が失敗してしまうことがあります。
そのため、頻繁にシステムやアプリケーションの変更がある環境の場合、画像認識は向いていません。

画面の位置を認識する「座標認識」

RPAの座標認識とは、画面上の特定の位置（座標）を基準にして操作を行う方法です。

座標認識では、ボタンやテキストフィールドなど画面上の要素の「位置情報」（X座標とY座標）を記録し、その座標に基づいて操作を自動化します。
例えば、マウスが画面上のどの位置をクリックしたか、キーボード操作がどの場所で行われたかといった情報を座標として記録し、その記録を基に同じ位置で同じ操作を再現します。このように、人間が行った操作と同じ軌道をなぞるように自動化を進めるのが、座標認識の特徴です。

座標認識では、あらかじめ設定された座標に対してRPAツールがクリックやダブルクリック、ドラッグアンドドロップなどのアクションを実行することで、自動化を行います。そのため、比較的シンプルで設定しやすいというメリットがあります。
例えば、Excelのアイコンをクリックする動作を自動化する場合、一度認識した座標（位置情報）をもとに、同じようにマウスを動かしてアイコンをクリックします。

画像認識では、視覚的に見える要素（バナー画像など）を基に操作を行いますが、座標認識は画像やデザインには依存せず、画面上の決められた位置をクリックするという点で異なります。画面のレイアウトが変わらない限り、座標認識は安定して動作するため、シンプルで特定の動作を繰り返す業務の自動化に向いています。

座標認識のメリット

RPAの座標認識のメリットには、設定がシンプルなこと、操作速度が速いこと、特定のUI要素の認識が不要であることが挙げられます。それぞれのメリットを詳しく解説します。

座標認識のデメリット

座標認識は、指定した位置に基づいて操作を行うため、画面レイアウトが変更されると正しく動作しなくなります。たとえば、ウィンドウサイズの変更や画面解像度の変更によって、ボタンや入力フィールドの位置がずれると、クリック操作が正確に行えなくなります。
また、使用するモニターの解像度や表示設定に依存するため、異なる環境で同じ操作を実行した場合、位置がずれて誤動作を引き起こす可能性があります。

構造を基に認識する「オブジェクト認識」

RPAのオブジェクト認識とは、アプリケーションやWebサイトの内部構造を解析し、特定の操作対象（オブジェクト）を見つけて操作する方法です。

画像認識では画面上の要素を見た目で認識していますが、オブジェクト認識ではアプリケーションやWebサイトがどのように作られているかをRPAが理解し、その構造に基づいて操作を行います。
たとえば、Webページの「送信」ボタンをクリックする際に、そのボタンがソースコードの中でどのように定義されているかを理解して操作します。

上記のようなHTMLタグの情報（IDやクラス名、タグの種類など）を利用して、画面上の要素を認識します。RPAツールは、この情報を基にして「どのボタンをクリックするか」を判断します。

たとえば、「submit_button」というIDのボタンをクリックするようにプログラムされていれば、「id=”submit_button”」や「class=”btn-primary”」といった属性を持つボタンを探し、そのボタンが見つかった場合にクリック操作を行うなどの処理をします。

画面上でボタンの見た目や位置が変わっても、IDやクラス属性が変わらない限り、RPAツールはそのボタンを正確に操作できます。

オブジェクト認識は、システムの内部構造を理解して操作を行うため、より精度の高い、柔軟な自動化が可能です。

オブジェクト認識のメリット

オブジェクト認識のデメリット

オブジェクト認識は、アプリケーションやWebページの内部構造を解析して操作するため、初期設定や構築が複雑です。
RPAツールが認識するためのオブジェクトを特定し、それに対応するスクリプトを作成する必要があるため、技術的な知識が求められるため難易度が高いです。
特に、アプリケーションが複雑であったり、Webページが動的に変化したりする場合、正確なオブジェクト認識の設定が難しくなることがあります。その結果、導入時のコストや時間が増加する可能性があります。

画像認識・座標認識・オブジェクト認識の違いを分かりやすく比較

RPAの認識方法には、「画像認識」「座標認識」「オブジェクト認識」の3つがありますが、それぞれの認識方法には特長があり、用途や適用範囲に応じて使い分けることが重要です。以下に、それぞれの認識方法の特徴と違いをわかりやすくするため比較表にしました。

画像認識は設定が簡単なため初心者向けで、幅広いシステムやアプリケーションを利用している場合に適しています。座標認識は設定が簡単で高速な操作が可能ですが、環境に依存しやすいです。オブジェクト認識は、UIの変更に対応できる柔軟性と高精度な操作が求められる高度な自動化に向いていますが、設定が複雑です。

業務内容や使用環境に応じて最適な認識方法を選択することで、RPAの導入効果を最大化し、業務効率を向上させることが可能です。

どの認識方法を選ぶべき？業務やユーザーに応じた選択ポイントと注意点

RPAの認識方法を選ぶ際には、業務内容、ユーザーのスキルレベル、業務環境の安定性など、さまざまな要素を総合的に考慮することが重要です。例えば、固定された画面や独自システムなら座標認識や画像認識が有効ですし、頻繁に変化するクラウドシステムではオブジェクト認識がおすすめです。

選ぶべきポイントや注意点を理解することで、最適な認識方法を選択し、RPAの導入効果を最大限に引き出すことができます。
以下に、認識方法選びのポイントと注意点を解説いたします。