top of page
高精度協働ロボットのFAIRINO(フェアリノ・ファイリノ)

Inference Engine

推論エンジン

推論エンジンとは、学習済みのAIモデルを用いて入力データから結果を出力する処理ソフトウェアまたは実行環境を指します。


機械学習や深層学習では、学習(Training)と推論(Inference)が分かれており、推論エンジンは現場で高速に判定を行うために使用されます。


ロボットビジョン、外観検査、OCR、異常検知、ばら積みピッキング、エッジAIなどでは、推論エンジンの性能が処理速度(レイテンシ)や認識精度に大きく影響します。


GPU・NPU・TPUなどの推論チップと組み合わせて使用されることが多く、スマートファクトリーのAIシステムで重要な構成要素です。


■推論とは


入力 → AIモデル → 出力


※この実行部分が推論エンジン。


■AI処理の流れ


学習(Training) → モデル生成 ↓ 推論(Inference) → 推論エンジン ↓ 結果出力


※現場は推論。


■推論エンジンの役割

◆機能

◆内容

モデル読み込み

AI

入力処理

前処理

推論実行

NN

出力生成

結果

最適化

高速化

※実行環境。


■よく使われる推論エンジン

◆エンジン

◆特徴

TensorRT

NVIDIA

OpenVINO

Intel

ONNX Runtime

汎用

TensorFlow Lite

Edge

PyTorch Runtime

DL

※エッジAIで多い。


■推論エンジンと推論チップ

◆用語

◆意味

推論エンジン

ソフト

推論チップ

ハード

※組み合わせる。


■使用される場所

◆場所

◆用途

AIカメラ

認識

エッジPC

推論

ロボット

ビジョン

サーバ

AI

IoT端末

判定

※現場で動く。


■製造業での用途

◆用途

◆内容

外観検査

AI

OCR

読取

バラ積み

3D

人検知

安全

異常検知

振動

AGV

認識

※高速必要。


■推論速度に影響

◆要素

◆内容

モデルサイズ

GPU性能

NPU

高速

解像度

最適化

必須

※最適化重要。


■エッジAI構成


カメラ ↓ 推論エンジン ↓ 結果 ↓ ロボット


※リアルタイム。


■メリット

◆メリット

◆内容

高速判定

低遅延

現場処理

AI実行

安定

■デメリット

◆デメリット

◆内容

最適化必要

対応形式必要

ハード依存

設定必要

※設計重要。


■関連用語

◆用語

◆内容

推論チップ

NPU

エッジAI

現場

レイテンシ

遅延

CNN

DL

学習

Training

■まとめ


推論エンジンとは、学習済みAIモデルを実行して結果を出すソフトウェアです。ロボットや外観検査で重要なAI実行環境です。

お見積り・ご相談は今すぐ!

24時間365日受付

bottom of page