このページの目次
浮田 浩行
製造工程検査部門（In-Process Inspection：IPI）は，1979 年に発足した「005（非破壊検査画像処理）特別研究委員会」を源流としており，既に40 年にわたって，産業界における画像処理を中心とした外観検査，非破壊検査技術の発展を目指して活動を続けています。近年は，画像処理に用いるカメラやコンピュータが高性能化，低価格化していることに加え，工場等における人材不足や労働環境改善のため，人手による検査から，機械による自動検査が主流となってきており，地方の中小企業においても，最近は，さかんに導入されてきています（なお，文献１）に本部門の歴史的経緯について解説されています。是非，ご参照ください）。
本部門では，これまでに，「画像処理技術応用による検査の自動化 .画像検査の発展の道程を見据える.」（2014 年，第63 巻1 号），「人に学ぶ画像センシング技術の最新動向」（2016 年，第65 巻6 号）「人に学んだ画像センシング技術の最新動向」（2018 年，第67 巻7 号），「製造工程で活躍する外観検査技術」（2020 年，第69 巻7 号）と，特集を組ませていただき，当協会が協賛・共同企画を行っているシンポジウムやワークショップにて高い注目を集めている検査技術や研究について，ご紹介してきました。
これらの特集のタイトルが示すように，従来の外観検査技術は，人間による検査の代わりとなるために，人間と同様の識別・検査能力を得ることを目標としてきました。一方で，皆様ご存知のように，昨今，機械学習技術が急激に発展しており，外観検査においても機械学習を取り込むことで，より高度な検査技術を実現するべく，日夜研究が進められています。これは，外観検査技術においても，従来よりもさらに，人間を超えた識別・検査能力が期待されているものと思われます。
しかしながら，機械学習を用いた場合の問題点として，
・システムがブラックボックス化しており，なぜ，そのような結果になると判断したのか，その判断根拠が分からない。
・特に，きず等の外観検査においては，実際にきずが生じる状況が少ないため，きずがある学習
データを十分な数だけ確保することが困難である。ということが挙げられます。これらは，機械学習を外観検査技術に適用し，実用化する上で避けては通れない問題であり，現在，最も関心が集まっているトピックであると考えられます。また，一方で，機械学習を用いることで多種多様な対象物を識別できる汎用性も注目されており，動植物を検査対象としたり，1 枚の画像から対象の様々な特徴を同時に観測したりすることも検討されています。
本特集では，このようなトピックを扱った研究についてご紹介します。外観検査における判断根拠の可視化の一つとして，深層学習（Deep Neural Network：DNN）を用いた外観検査システムにおける特徴空間の解釈について，青木公也氏（中京大学）らにご報告いただきます。また，学習データとし
Fujitsu Research of America, Inc. 樋田 祐輔
Unsupervised Anomaly Detection Using Autoencoder by Adding Artificial Anomaly
Fujitsu Research of America, Inc. Yusuke HIDA
キーワード:外観検査，異常検出，教師なし，ディープラーニング，オートエンコーダ
はじめに
製造業においては，AI やIoT の利活用による工程の自動化や省力化などがスマートファクトリ実現に向けて活発に取り組まれている。また，単に自動化や省力化を行うだけでなく，生産プロセスや工場全体の効率化に発展する活用も広く検討されている。例えば，検査工程で製造品の欠陥の特徴を捉え，生産工程へフィードバックすることで，欠陥の発生原因も特定でき，製品品質や業務改善に繋げられる可能性がある。
一方，外観検査は，製品品質を保つためには必要不可欠な工程であるが，製品の高度化に伴って構造が複雑になり，熟練者が目視で検査せざるを得ない状況が多い。製造現場によっては，画像処理を使用した自動外観検査装置AVI：AutomaticVisual Inspection も活用されているが，複雑な異常は検出が困難・誤検出が多い等，いまだ技術的な課題は多く残っている。
近年では，機械学習を用いた画像認識技術による異常検出が多く研究されており，特にDeep learning を用いた高精度で汎用的な手法に期待が集まっている。しかし実際の製造現場には，学習に必要な異常画像データは，欠陥製品が稀にしか発生しないことから入手が困難であり，すぐに適用することはできない。この課題を解決する手段が，異常画像データを使用しない学習方法である。つまり，正常な製品データのみを学習させ，正常状態からの差により異常を検出する方法である。なかでも，AutoEncoder１）はその基本となる技術であり，入力する画像を圧縮した後，再度元の画像に復元することで画像の特徴を抽出することができるアルゴリズムである。すなわち，学習過程において，正常画像のみの特徴を抽出・学習することで，推論過程（運用時）に異常を含む画像を入力しても正常状態にしか復元できず，その差分から異常箇所を特定する仕組みである。このアルゴリズムの特徴は，
（１）異常データが不要であり，データ収集が容易
（２）異常の有無だけでなく，異常箇所を特定可能
（３）学習ベースであるため，汎用的に適用可能
が挙げられる。特に，（２）異常箇所を特定できることは，既述の通り，欠陥の特徴を分析し，発生原因を特定することに繋げることができる可能性があるため，非常に有用なポイントである。このアルゴリズムを活用した幅広い研究がされており，敵対的生成ネットワークGAN：Generative AdversarialNetwork２）や画像修復技術Image Inpainting３）を利用した技術が主流になっている。しかし，汎用性・安定性の観点で課題が顕在化している。
本稿では，外観検査において、これらの課題解決を目的に開発した製造品の異常箇所を特定する画像認識技術４）を解説する。また，15 種類の工場製品の外観画像を集めた公開画像データMVTec AD＊1 を用いて検証することで，開発技術の有効性を述べる。
中京大学 青木 公也 野路 佳佑 岩狹 将也 渡辺 康生
中京大学／（同）YYC ソリューション 輿水 大和
セイコーホールディングス（株） 畔蒜 一輝 菊地 朝子
Feature Space Interpretation of Deep Neural Network（ DNN） for Visual Inspection
Using Artificial Inspection Images
Chukyo University Kimiya AOKI, Keisuke NOJI, Shoya IWASA and Kosei WATANABE
Chukyo University/YYC Solution LLC Hiroyasu KOSHIMIZU
Seiko Holdings Corporation Kazuki ABIRU and Asako KIKUCHI
キーワード:外観検査，深層学習，異常検知，画像データ拡張
はじめに
近年，AI 技術の目覚ましい発展から，外観検査の自動化においても深層学習（DNN：Deep Neural Network）の応用技術がさかんに研究されている。DNN の採用によって，高い識別精度を持つ検査システムを比較的少ない開発工数で，かつシステマティックに設計できる可能性がある。しかし，実運用には多くの課題がある。まず思い浮かぶのは，大量の学習データが必要となることである。
DNN を含む機械学習には，教師あり学習と教師なし学習がある。教師あり学習は，例えば撮像した検査画像に欠陥が含まれるか否かを判定したい場合，良・不良のそれぞれのサンプル画像を大量に収集し，各画像がOK なのかNG なのかの教師タグと合わせて学習用データとする。ここで問題となるのが，欠陥を含むNG 検査画像サンプルの収集である。不良の発生が稀な場合，学習用データの収集はままならない。一方教師なし学習では，良品の検査画像のみを大量に収集し，そのデータの特徴を画像サイズよりも小さい次元数で表現し，良品の特徴を抽出する。実際の検査ではその良品特徴との差異をもって異常を検知する。従って，DNN の学習にはNG 検査画像を必要としないため，最近では外観検査の自動化に教師なし学習タイプのDNN を採用する傾向がみられる。本稿でも，後述の実験では異常検知タイプのDNN を使用する。
さて，外観検査AI における課題はNG 検査画像の収集の他にもある。本稿では特に学習済みの異常検知DNN について，その特徴空間（良品画像の表現）を解釈し，例えばどの程度のサイズの欠陥までをNG と判定するか等の適用範囲の明確化について取り上げる。この課題に対して著者らの研究グループで提案している手法１）について解説する。
画像のどういった特徴が良品を表し，欠陥像はどういった特徴を持つかについて，陽に判定ロジックを設計・実装する手段しかなかった時代は，開発工数・コストがかさみ，検査対象や項目ごとのワンオフ開発になりがちであった。ただし，一端実装された画像検査アルゴリズムは，その処理をトレースすることによって「なぜそう判定したか」や「なぜこの欠陥を見逃したか」が明白になる。例えば，「濃度が○○％以上の領域が□□mm 以上続いている」等の形式知がソフトウェアに陽に組み込まれている。一方，前述の通りDNN を採用すれば学習というロジックによって，検査画像を収集するだけで（ただし，データの量と質が重要である）自動的に判定ロジックが構築される。しかし，それは人間から見れはブラックボックスである。簡単に言えば，DNN がNG と判定する欠陥サイズや濃度は定量的には分からない。適用範囲が分からないことは，検査システムとしては致命的である。外観検査に限らず，AI 技術の活用の広がりに伴い，その判定精度の高さだけでなく公平性や透明性，説明責任が求められるようになった２）。このことは，外観検査AI においても必須の価値であると考えられる。
熊本大学 戸田 真志 長瀬 龍洋 右田 雅裕
滋賀県立大学 榎本洸一郎 日本水産（株） 俵谷 賢悟
Fish Count System Using Underwater Images for Tuna Aquaculture
Kumamoto University Masashi TODA, Tatsuhiro NAGASE and Masahiro MIGITA
The University of Shiga Prefecture Koichiro ENOMOTO
Nippon Suisan Kaisha, Ltd. Kengo HYOTANI
キーワード:クロマグロ，自動計数，複数物体追跡， 深層学習，オクルージョン
はじめに
「持続可能な水産業」が議論されて久しい。タンパク質危機も叫ばれる中，水産業の持続的発展は喫緊の課題である。水産業の持続可能性を高めるためには，水産資源種やその生息する海中等の漁場環境の把握が何より重要となる。筆者らは，主に海面漁業を対象として，画像情報を利用した水産業支援，特に漁場海底域の精緻な計測とその利用に関する研究を推進している１）。近年では海面漁業に加え，水産養殖業への注目も大きいが，養殖施設内環境の精密な把握が不可欠である点は，海面漁業と変わらない。水産養殖業において，養殖施設内で育成する水産資源種の個体数は，生産管理，出荷管理，給餌管理等の観点からも獲得すべき基本情報の一つであるが，一方でその正確な把握は容易ではない。本稿では，クロマグロの養殖漁業を対象として，画像処理技術と深層学習を用いた個体数計測の試みについて紹介する。
クロマグロは，高価であることに加え，「表皮が弱い」という生物学的な特性から，非接触かつ高精度な個体数計測が求められる。個体数把握には，経験則に頼るものの他，魚群探知機を用いるもの２），マルチ送受波ソナーとピンガーを用いるもの３），水中音響カメラを用いるもの２）等が提案されているが，精度や導入コスト等に課題が多い。養殖漁業においては，「資源種の育成状況に応じて生け簀を分ける」等，しばしば養殖施設の間で資源種を移動させる作業が発生するが，近年では，この移動時に，養殖施設の間に敷設される魚道に市販の水中カメラを設置し，得られた水中映像から個体数を測る取り組みが行われている。しかし，個体数の計測自体は目視に頼ることが多く，養殖現場での負担は大きい。筆者らの試みは，この目視による個体数の計測を画像処理技術を用いることで自動化し，現場の負担軽減と計数の高精度化，安定化を図ることである。
中京大学 橋本 学
Unsupervised Defect Detection by Normal Image Generation Using Random Images
Based on Statistical Coverage and Image Realism
Chukyo University Manabu HASHIMOTO
キーワード:画像生成，ランダム画像，外観検査，教師なし学習，敵対的生成ネットワーク
はじめに
製造ラインでは，作業者の負担軽減やヒューマンエラーの防止を目的として，外観官能検査の自動化が進められている。従来より，機械学習ベースの手法を用いて，一枚の検査画像から正常・異常を識別する手法が提案されている。しかし，現実の製造現場では異常の発生頻度が低いため，学習に必要な異常画像サンプルが十分に得られないことが多い。
この問題を解決するための手法は，「データ拡張によって，異常画像を生成して利用するアプローチ」と，「正常画像を積極的に利用するアプローチ」の二つに大別される。前者については，人工的に生成された画像に対して，正常／異常の教師信号を正しく付与することができなければ性能向上は見込めないが，一般に正常／異常境界付近に生成された画像に対する正しいアノテーションはきわめて困難という課題が残る。一方，後者の例としては，学習に使用する正常データの分布をモデル化し，その分布に属さないデータをすべて異常と判定するという考え方があり，正常データのモデル化がキーとなる。
我々は，基本的には，画像生成ベースの手法１）を利用する後者のアプローチをとる。すなわち，被検査画像を基に「正常画像」を生成する。ここで重要なことは，正常／異常のいずれの被検査画像が入力されても，常に再現性の高い正常画像を生成する画像生成モデルを構築することである。再現性が高い正常画像とは，きずや異物などの異常が発生する前の，すなわち異常が発生していない画像のことであり，異常部分以外の素地テクスチャなども高品質に再現されている画像を意味する。このような正常画像生成が実現できれば，カメラで撮影された被検査画像と，それを基にシステムが出力した正常画像を比較すれば，正常／異常判定が可能となるはずである（図1）。このような画像生成モデルには，（１）正常画像入力時には入力と完全に同一の正常画像が出力され，（２）異常画像入力時には欠陥部分のみが削除された正常画像が出力される，という二つの能力が同時に要求される。（１）は，収集可能な大量の正常画像を用いて学習させることにより，容易に実現できる。しかし，（２）は，現実には大量の異常画像が入手困難であり，異常から正常への変換を明示的に学習することが不可能であるため，この問題を解決することが重要となる。
この課題に対して，本研究では，（１），（２）の画像生成について，一方の能力は高いが，もう一方の能力は低いという性質を持つ2 種類のモデルを適切に組み合わせることによって，これらの変換を高品質かつ同時に実現する手法を提案する。具体的には，（１）を実現するために恒等写像が得意なSkip-GANomaly ２）を採用し，（２）を実現するために乱数によって生成される画像（以下，「ランダム画像」と表記）から正常画像を生成するAnoGAN １）を組み合わせた手法を提案する。ここで，一様乱数によって無限に生成されるランダム画像は，乱数の生成を繰り返すことにより，世の中のあらゆる画像を発生させる可能性がある（異常画像を統計的に網羅しうる）ため，その過程で未知の異常画像が生成され，（２）が実現すると考える。さらに本研究では，より現実の場面に即した（画像として写実的な）ランダム画像を生成する方法を提案し，（２）に関する高精度化を図る。
山梨大学 清水 毅
Process Monitoring of Metal Additive Manufacturing
University of Yamanashi Tsuyoshi SHIMIZU
キーワード:金属積層造形，レーザ溶融，スパッタ，モニタリング
はじめに
日本人が考案した積層造形技術は，米国が3D プリンタとして大々的に推進してから，はや10 年ほど経ようとしている。現在では，通販サイトでも安価な製品が趣味レベルで購入できる時代となった。このような時代背景も後押しし，除去加工では難しい形状も製作可能なことから，積層造形技術は，大きな注目を浴びている。図1 はScience Direct（電子ジャーナルポータルサイト）における論文検索において，キーワードを“additive manufacturing”としたヒット数である。2013年までの論文数は微増であったが，2014 年以降は著しく増加しており，その注目度がよく分かる。
しかしながら，金属積層造形においては，加工条件と品質，気孔や残留応力，造形不良や造形中のトラブルなど解決すべき課題は現在でも多く存在している。そこで，本稿では，金属積層造形に焦点を絞り，現在研究室で取り組んでいる深層学習モデルを用いたLPBF（Laser Powder Bed Fusion）のモニタリングを解説する。
（有）超音波材料診断研究所 川嶋紘一郎
Fortune is Unpredictable and Changeable; State-of-the-art Nonlinear Ultrasonic Imaging
Ultrasonic Materials Diagnosis Laboratory Koichiro KAWASHIMA
Abstract
キーワード:超音波，非線形超音波，非破壊評価，画像化，局部共振法
2020 年からの新型コロナウイルス出現は平均寿命に近い筆者にとって終活の好機となった。2002 年からの水浸高調波画像化，2004 年定年退職後1 人会社で非線形超音波測定を始めて18 年が経過し，国研・企業などからの依頼により，大学では入手不可能な多種多様な貴重な試験体の非線形超音波計測・画像化を担当させていただいた。
一昨年3 .8 月は新型コロナウイルス禍により，世間同様に超音波受託測定が停止したので，水浸高調波画像化法と１）これまでの適用例をまとめて出できた。本誌にもそのBook Review を掲載いただいた。多分これらが契機で，「検査技術」誌に2021 年8 月から5 回連続で，検査技術者向けに上記図書の抜粋と図書発行後の新しい高調波像を紹介した。これらを含め現状の非線形超音波画像化技術，さらに今後期待されることについて思いつくままに記す。
