RPAの「画像認識」機能の問題点とは？

会社においてコンピュータを扱っている部署となると、最近では「情報システム部」、会社によっては「電算部」といった名前がついているところが多いですね。

今のコンピュータの原型とされる「ノイマン型コンピュータ」が発明されたのは、１９４５年。

世界最初のパソコンが登場したのが、１９７４年となっています。

パソコンを含めたコンピュータの性能を見定める指標の１つとして、「CPU(Central Processing Unit）」が挙げられます。

コンピュータの「脳」と言われるパーツですが、３０年前と比べると、なんとその性能は「５０万倍」も進化しているのだとか！

昔は計算機に毛の生えた程度で、その筐体とても大きかったのが、２０００年代に入ってからとても高性能化・小型化・低価格化しています。

以前NHKの特集で放送されていた内容ですが、ご紹介します。

皆さんご存知の「iPhone」ですが、もしこれを３０年前に同機能で再現したとしたら、どのくらいの大きさのコンピュータになったでしょうか？

答えは、「ビル一棟」の大きさが必要になるとのことでした！

今ではたばこの箱と大差ない大きさですが、ビル一棟まるごとのコンピュータと同程度の性能というのは驚きですね。

では、逆にこの先３０年後、できる限り「iPhone」を小さくした場合、どこまで小さくできるのでしょうか？

これは計算上の話なので、実際に３０年後になってみないと分かりませんが、仮に現在の進化スピードで進んだ場合、

「人間の血管に入る大きさ」まで小さくすることが可能だそうです！

RPAソフトにおける「画像認識」機能

前置きが長くなりましたが、本題に。

人間にとって、画像認識はなんでもない作業の１つですが、実はコンピュータにとってはとても難しい作業なのです。

例えば、ホームページに映っている、ある「赤いロゴマーク」をクリックさせたいとします。

RPAソフトの操作上では、それを囲って画像として設定します。

ここで問題が２つ。

⇒利用状況によっては、何故か上手く読み取れないということが起こります。

RPAソフト側もそれぞれ独自の画像認識を行っていますので、ソフトAでは読み取れても、ソフトBは読み取れないということもあります。

元々、「画像認識」がビジネスソフトとして使えるようになってきたのは、結構最近です。

理由としては、画像認識に掛かるパソコンのリソース不足が解決されたこと。

現代の我々は、パソコン上で画像を扱うことに対して違和感が無くなっていますが、とてもパソコンに負荷の掛かる作業なのです。

それが上記の通り、飛躍的なパソコン性能の進歩により、家庭でも動画編集ができるほどになっています。

あと、ハードウェアだけでなく、ソフトウェア側では、正確な画像認識の技術が発達してきたことも見過ごせないでしょう。

⇒全く同じ絵柄であっても、サイズが少しでも異なると同じ絵柄だと認識しない場合があります。

画面を「１００％」の拡大率で捉えた画像が、「８０％」の拡大率で表示されていると、同じ絵柄だと判別しないのです。

これは画像認識の方法に起因するのですが、コンピュータの判断は厳格なのです。

それに対する方法としては、「常に画面を最大化（画面いっぱい表示）して利用する」というのがあります。

以上、RPAにおける「画像認識」の現状を取り上げてみました。

RPAソフトの多くが「画像認識」機能をセールスポイントの１つとして謳っていますが、結論から言えば、

ロボット（シナリオ）作成時には、『出来る限り画像認識機能には頼らない方がよい』

と言えます。

画像そのものよりも、タグやidなどで認識できるケースでは、そちらで設定しておく方が、確実に認識されるのです。

利用者としては、画像を囲って設定する方が簡単なのですが、確実性を重んじるのであれば、画像認識機能は最終手段になります。

ただ、タグやidで認識させるとなると、HTMLやCSSといった知識が必要になってくる場合も多く、敷居が高くなるのも事実です。