浮田 浩行
製造工程検査部門（In-process Inspection：IPI）は，これまで40 年にわたり，産業界における画像処理を中心とした外観検査，非破壊検査技術の発展を目指して活動を続けています。近年は，画像処理に用いるカメラやコンピュータの高性能化，低価格化に加え，工場等における人材不足や労働環境改善のため，人手による検査から，機械による自動検査が主流となってきており，地方の中小企業においても，盛んに導入されています。
本部門では，これまでに，「画像処理技術応用による検査の自動化−画像検査の発展の道程を見据える−」（2014 年，第63 巻1号），「人に学ぶ画像センシング技術の最新動向」（2016 年，第65 巻6号），「人に学んだ画像センシング技術の最新動向」（2018 年，第67 巻7 号），「製造工程で活躍する外観検査技術」（2020 年，第69 巻7号），「機械学習で飛躍する外観検査」（2022 年，第71 巻7号）と特集を組ませていただき，当協会が協賛・共同企画を行っているシンポジウムやワークショップにて高い注目を集めている検査技術や研究について，ご紹介してきました。
特に，2022 年の第71 巻7 号で特集を組ませていただいたように，近年では，非破壊検査・外観検査において機械学習を用いた手法が盛んに研究されています。機械学習を用いる場合，大量の学習用データが必要となります。そこで，当部門の主査経験者や他学会の方にご協力いただき，非破壊検査や外観検査の手法・開発に用いるための画像データセットを収集・公開することを目的とした「非破壊検査画像データセットCOE プロジェクト」を，2022 年から実施しています。なお，本プロジェクトの詳細につきましては，2023 年度の非破壊検査総合シンポジウム１）や秋季講演大会２）等で，ご報告させていただきましたので，そちらをご参照ください。このプロジェクトにおいては，非破壊検査・外観検査で一般的に対象となる機械部品等の他，最近では，農林水産業においても，機械学習を用いた対象物の検出や識別が行われていることから，これらの分野に関する画像データセットも収集・公開する予定です。
機械学習を用いる場合，きず等の欠陥の検査であれば，大量の良品と不良品の画像を同程度用いることになります。しかし，欠陥を含む部品は，そもそも低い頻度でしか現われないため，そのような画像を収集することは難しい，という問題があります。一方，2022 年末頃から，ChatGPT に代表される生成AI が発表され，その技術が公開されると，瞬く間に世界中に広がり，様々な分野に応用されています。そして，この生成AI によって，人間と遜色ない文章を作成したり，文章による指示に従った緻密な画像を生成したりすることが可能になりました。従って，このような生成AI を用いることで，不足する機械学習用の画像データを生成し，検査システムに用いるということが考えられます。
そこで，本特集では，機械学習による検査システムで用いるための画像データセットを生成する研究や，また，最近，農業分野でも活用されている機械学習を用いた作物の識別・検査に関する研究について，ご紹介します。まず，画像データセットの生成に関する三つの手法について橋本 学氏（中京大学）に解説していただきます。非常に分かりやすくまとめていただいていますが，誌面の都合もあるため，詳細な点については，この解説に示されている参考文献も併せてご参照いただきたいと思います。また，CG（Computer Graphics）の手法を取り入れた画像生成手法を，大島誉寿氏，北村俊也氏，水山佳乃氏ら（（株）IHI 技術開発本部）に，そして，実際のきずについての構造的特徴を抽出し，それを他の画像と合成することで様々な検査用画像を生成する手法について青木公也氏（中京大学）にご報告いただきます。さらに，ムギの穂の画像データセット構築を目指して，穂の位置を自動補正する手法について西山正志氏（鳥取大学）に，また，機械学習を用いてキャベツの生育量を推定する手法について山本 拓氏（愛知県農業総合試験場）に，ご報告いただきます。読者の皆様におかれましては，本特集によって，機械学習を用いた外観検査における画像データセットの収集や，問題点解決の一助になれば幸いです。
末筆ではありますが，大変ご多忙であるにもかかわらず，快くご執筆いただいた皆様，企画から刊行までお世話いただいた機関誌編集ご担当の皆様に，誌面をお借りして御礼申し上げます。
中京大学 橋本 学
Generation and Utilization of Datasets for Anomaly Detection Based on Machine Learning
Chukyo University Manabu HASHIMOTO
キーワード: 異常検知，大規模データベース，統計的手法，機械学習，事前学習
はじめに
工場における自動検査工程は，そもそも製造過程で欠陥品が発生しなければ不要なはずの工程であるが，現実にはニーズは高まるばかりであり，「なくしたいがなくならない」工程の代表格である。
近年の急速な機械学習，なかでも深層学習系のネットワーク型モデル（以下，本稿では機械学習モデル，あるいは単にモデルと記す）の発展により，画像処理による異常検知に大きな期待が寄せられているが，実用レベルの技術開発には，なお多くの課題がある。筆者は，基本的な課題は次の2 つであると考えている。
1 つ目は，現場で求められる精度が極めて高いことである。検査装置の本分を考えると，基本的には見逃しはゼロでなくてはならないが，同時に，過剰検知を実用的な数値に抑え込む必要がある。半導体製造のような製造タクトが極めて短い製品の場合は，過剰検知による悪影響が増大するため，これらの相反する評価ファクタを同時に下げることは極めて難しい。現実の製造現場において「見逃し率0.01％以下，かつ過剰検知1 日3回以下」のような要求は，決して不自然ではない。
2 つ目は，現場での異常サンプルの入手が極めて困難という現実である。人間の目視検査員でさえ，いわゆる限度見本のような異常サンプルの例示が必要とされている。深層学習ベースの手法では，深層ゆえにモデル内の数値パラメータが激増し，学習時に必要なサンプル数も膨大である。しかるに，現場での実サンプル，とりわけ異常サンプルの入手が困難という状況は，大きなボトルネックとなっている
これらの基本課題を解決するためには，（１）実異常サンプルを使わず良品サンプルのみで検査するアルゴリズムを開発する，（２）模擬的な異常サンプルを生成して使用する，という2 つのアプローチが考えられる。いずれのアプローチについても，学習サンプル，すなわちデータセットが重要であるという共通点がある。
本稿では，これらの観点にたち，異常検知のための画像データセットの生成と活用に関する筆者らの研究グループの検討内容を紹介する。第2 章では，画像データセットに関する世界的な動向と位置づけについて整理し，続く第3 章以降で，具体的な研究例を解説する。
（株）IHI 大島 誉寿 北村 俊也 水山 佳乃
Introduction of Constructing Visual Inspection AI Models Utilizing Synthetic Data
IHI Corporation Takahisa OSHIMA, Shunya KITAMURA and Yoshino MIZUYAMA
キーワード: 外観検査，AI，合成データ，3D-CG，フォトメトリックステレオ法
はじめに
工業製品の外観検査の自動化は製造業共通の課題として解決が期待されている。解決手段としてカメラと画像認識AI モデルを用いた開発が一般的なアプローチとなりつつあるが，不良品発生率の低さであったり，発生パターンを網羅しきれないことから適切な学習／評価用画像データの収集が困難となっている現状がある。良品画像のみで検査モデルを構築する方法はあるものの，過検出率が大きい傾向にあるため，運用時に検査員によるダブルチェックが頻発し，AI 導入によるコストメリットが見合わない場合も多い。
解決策の一つとして実際の不良品撮影画像ではなくコンピュータ上の計算によって生成された人工の画像データをAIの学習／評価に使用する方法が近年注目されている。超音波検査のような非破壊検査では人工きずとして供試体内部に実際に平底穴を加工することできずを模擬することがあるが，外観検査で同じアプローチをとると製造工程で発生するきずとは形状や粗さの乖離が大きいため，AI の学習・評価の妥当性に疑義が生じる。そのため限りなく実際のデータに近いような人工画像データを低コストで生成できる方法が求められている。
このような人工画像データの活用は国際規格においても言及がある。例えば非破壊検査のD-RT（Digital-Radiographic Testing）画像を対象とした半自動欠陥検出モデル構築のガイドラインであるASTM E3327 １）の文中では，実際の製造工程であらゆる欠陥パターンを網羅するデータ取得が現実的には困難なことから実際の取得データに加え，人工的に生成されたデータすなわち合成データ（Synthetic data）の使用が推奨されている。
合成データは適用する検査対象および検査方法（撮影方法）によって作成コストが大きく左右される。大別すると選択肢としては現状三つの生成手段が考えられ，各々「画像加工」「光学シミュレーション（3D-CG）」「生成AI」を使用した手法があり，これらをサービスとして提供する企業もいくつか登場してきている。本稿では各々の生成方法についてIHI 社内で検討してきた具体的な実施例を交えながら紹介する。
中京大学 青木 公也
Artificial Inspection Image Generation Based on Texture Synthesis Method
Chukyo University Kimiya AOKI
キーワード: データ拡張，検査画像，人工検査画像，テクスチャ合成
はじめに
図1 は，本稿で解説する手法で生成した人工検査画像の一例である。鋳造部品表面にある実際の打痕きずと，人工的に生成した同様の検査画像である。本稿ではこの例の様に，本物によく類似した人工検査画像を，数枚の実サンプル画像から大量にかつバリエーション豊かに生成できる二つの手法について解説する。一つ目は不定形欠陥像と任意素地画像の合成手法，二つ目は欠陥・ワーク構造を考慮した生成手法である。
近年，機械学習・AI（人工知能）技術による外観検査の自動化が精力的に進められている。一般的に画像検査のロジックは，対象ごとに一品一様であり，その開発においては，経験とノウハウによるところが残る。従って，学習という強力なロジックを持つAI に自動化を委ねようとする流れは理解できる。しかし，学習ベースの手法においては，画像サンプルの収集という，新たな自動化の阻害要因が発生した１）。いわゆる外観検査AI を学習するのに，どの程度の学習画像収集が必要であろうか。その答えは，検査対象やタスク，撮像条件によって様々であるし，適用するAI モデルの種類によるため，一概には言えない。ここで，画像検査の自動化をAI・機械学習によらない場合でも，画像検査システムの開発・テストにおいては，その基本となるサンプル画像の収集が必要であり，従来から本質的な課題であった。開発に使用できるサンプル画像の収集が困難な理由は幾つか考えられる。まず，不良品サンプルについては，そもそも製造工程において欠陥の発生が稀である場合がある。また，良品サンプルについても，それらのばらつきを網羅するように良品ワークを準備し，大量に撮像することは，工数がかさむ。さらに，そもそも新規に立ち上げる製造ラインの場合，これから生産するワークのサンプルの準備は困難であるが，にもかかわらず画像検査システムを同時に立ち上げる必要がある。
以上まとめると，近年のAI 技術の発展によって，製造現場にかける学習データサンプル収集の問題がにわかに騒がれたが，その本質はAI 学習用データセットということでなく，画像検査システムの開発・テストにはそもそも必要であったと言うことである。また，データセットは「量」も重要であるが，開発・テストに使える時間は有限であるので，それ以上に「質」が重要である。想定される良品・不良品の画像データを網羅的に揃えることが重要であると考えられる。当然，これはただ撮像すれば良いというわけではなく，大変な作業となる。これに対して著者の研究グループでは，従前，検査画像を人工的に合成する手法の研究を続けている２）− 17）。本稿では特にCG（コンピュータグラフィックス）技術のうちの，テクスチャ合成18）− 24）を使った手法について解説する。ここで，「テクスチャ」とは，元々は「織物の織り方や質感」という意味だが，ここでは「材料を撮像した画像における表面の様子・特徴」のことを言う。CG 分野では，テクスチャ画像を3 次元モデルに貼りつけて（テクスチャマッピングと言う），リアルな画像を生成する。
鳥取大学 西山 正志
Position Correction Using Center Position Estimation for Wheat Image Dataset Construction
Tottori University Masashi NISHIYAMA
キーワード: ムギ，データセット，画像認識，自動位置補正，中心位置推定
はじめに
人口増加に伴う食料の安定供給を目指し，優れた種のムギ類を生産することが期待されている。その一環として，様々な種のムギ類を一覧公開するため，遺伝子が保存されたデータベース＊1 が整備されつつある。さらに近年では，遺伝子に加えて，ムギ類の外見的な特徴も同時に形質データベースへ保存することが試みられている。この形質データベースでは，ムギ類の遺伝子，生育条件（年度，圃場，天候など），及び，個体の外見的な特徴（穂画像）が保存されている。ここで，ムギ類を撮影した穂画像の例を図1 に示す。ムギ類の穂は，小穂（しょうすい）集合，芒（のぎ），茎によって構成されている。小穂とはムギ類を構成する一つの要素＊2 であり，それらが密集している部分を，小穂集合と本稿では呼ぶことにする。芒とは小穂集合の付近から生えている長い毛であり，茎とは小穂集合の下から生えている細い部分である。専門家は形質データベースに保存された穂画像を遺伝子や生育条件に基づき比較することで，ムギ類の穂の外見的な特徴を新たに発見することを期待している。特に専門家は，穂の中でも品質に関係している小穂の特徴に着目している。
穂画像を形質データベースへ保存する時，ムギ類に属する個体を一つ一つ撮影する作業が発生するため，大量の穂画像を撮影すると多大な手間が発生する。この撮影作業の手間を削減するため，本稿では，多くの非専門家に協力を仰ぎ，省スペースで穂画像を撮影できる安価なスキャナを用いることを考えている。具体的には，穂画像を撮影するため，非専門家がスキャナ台に個体を置き，スキャナのカバーを閉じてスキャンを行う。ただし，個体の置き方やスキャナのカバーの閉じ方によって，撮影された画像ごとに位置ずれが発生することに気を付けなければならない。位置ずれの例を図2 に示す。この例では，それぞれの穂画像において，各個体の小穂集合の中心位置が上下左右にずれていることが分かる。専門家は小穂集合に注目して穂画像を分析するため，この位置ずれが発生すると，専門家が穂画像から外見的な特徴を見比べる際に不都合が生じる。形質データベースへ保存される穂画像について，小穂集合の中心位置が画像間でずれることなく一定になることが望ましい。
そこで本稿では，ムギ類の外見的な特徴を含む形質データベースを構築する際，非専門家による撮影作業を補助するため，穂画像から小穂集合の中心位置をクラス活性化マップを用いて推定することで，位置ずれを自動で補正する手法を紹介する。我々は，ムギ類について種分類を行うニューラルネットワークにおいて，小穂集合付近でクラス活性化マップ＊3 が反応することを実験的に確認している。これは，専門家がムギ類の種を見分ける時，小穂集合に注目していることに関連していると考える。そこで提案手法では，種分類のクラス活性化マップを用いて小穂集合の中心位置を求め，位置ずれを補正した穂画像を生成する。実験において，提案手法は小穂集合の中心位置を精度よく推定でき，位置ずれを補正できることを確認した。工学的に考えると精度に関して具体的な目標値の設定が重要であるが，本稿は初の試みであり明確な目標値がなくトライアル的な立ち位置になっていることをご了承願いたい。
愛知県農業総合試験場 山本 拓
Estimation of Cabbage Growth Amount by Image Processing Using Deep Learning
− For Development of a Real-time Precision Fertilization System −
Aichi Agricultural Research Center Taku YAMAMOTO
キーワード: キャベツ，センシング，開張，深層学習，YOLOv5
１．背景
愛知県は全国有数のキャベツ産地であり，キャベツの生産量は全国1 位（2020 年）である。主な産地は田原市，豊橋市の東三河地域であり，出荷時期は10 月～ 6 月と長期にわたる。キャベツ栽培では収穫，出荷にかかる労働時間が最も長く，かつ重労働であることが課題となっている（図1）。こうした課題を解決すべく，2022 年より知の拠点あいち重点研究プロジェクト第Ⅳ期において「愛知農業を維持継続するための農作業軽労化汎用機械の開発と普及」というテーマで研究・開発を行っている。本事業では①生育把握・生育挽回技術の開発，②キャベツ収穫台車の改良による収穫作業の軽労化の2つのメインテーマを持って研究・開発を行っている。本稿では，キャベツの生育把握・生育挽回技術の開発について解説する。
キャベツ栽培において，収穫・出荷に時間がかかる要因として，愛知県ではキャベツの出荷をスーパーなどで販売される規格になったものから順番に収穫していく，拾い取りを行っていることがあげられる（図2）。拾い取りを行う場合，キャベツの生育が揃わないと，複数回同一ほ場に収穫に入らねばならず，収穫・出荷にかかる労働時間が増加する。収穫・出荷時間を削減するためには，キャベツの生育を揃えることが重要である。キャベツの生育を揃えるためには，栽培の途中でキャベツの生育に応じて追肥量を増減させることが有効と考えられる。著者らの研究において，キャベツは生育途中の追肥の施用量に比例して収量が増加するため，生育に応じて追肥量を制御することで生育の斉一性を向上できることが示唆されている１）。そこで，キャベツの生育斉一性を向上させ，収穫回数の削減を図るため，追肥の可変施肥技術を開発することとした。
可変施肥を行う場合，ドローンを用いてほ場全体をセンシングし，施肥マップを作成する方法が一般的である２）。しかし，この方法では①センシングのために高価なドローンを用意する必要があること，②センシングから解析を行い，施肥マップを作成するまでに時間がかかること，などの欠点がある。そこで，センシング用のカメラを追肥で用いる乗用管理機に搭載し，キャベツの生育量に応じて施肥量を可変する，リアルタイム可変施肥システムを開発することとした（図3）。このシステムを用いることで，生産者は既存の管理作業と同じ作業体系で可変施肥を行うことが可能となる。また，システムは既存の管理機に後付けできるものであるため，導入コストを低くすることが期待できる。
末次 正寛，白木原香織，関野 晃一
Direct Observation of Longitudinal Ultrasonic Waves Propagating at a Crack
Masahiro SUETSUGU, Kaori SHIRAKIHARA and Kouichi SEKINO
Abstract
Longitudinal ultrasonic waves propagating at a natural crack were experimentally observed using the photoelasticity with sensitive tint technique. A natural crack in a glass plate was induced by thermal stress and crack opening displacement δ was evaluated as δ < 0.2μm by optical interferometry. Visualized images showed that the tensile phase of ultrasonic waves was reflected from the surface of crack, whereas, the compressional phase of ultrasonic waves was transmitted through the crack. These ultrasonic properties demonstrated the principle of higher harmonic wave generation at closed crack in nonlinear ultrasonics. In addition, visualized images of multiple ultrasonic waves passing through the crack were captured, and frequency analysis was performed using the luminance distribution. The results showed that in the region where the ultrasonic waves just passed the crack, one half component of the incident ultrasonic frequency appeared strongly.
Key Words: Crack, Visualization of ultrasonic wave, Photoelastic method, Glass, Sensitive tint technique
緒言
材料中に存在するきずや欠陥の検出には超音波探傷法が有力であり，広く利用されている。欠陥の中でも，き裂は特に有害なものであり重要な検出対象の一つであるが，一般的にき裂の開口量は非常に小さく，またき裂面が部分的に接触している等，巨視的には閉口していることも少なくない。このようなき裂の場合，入射した超音波の一部あるいはすべてが透過してしまう場合があるため，き裂面からの反射エコーを利用する一般的な手法（線形超音波法）では，き裂寸法の過小評価やき裂そのものの見落としへつながる。どの程度のき裂開口量があれば反射エコーが得られるのか，ということは重要な問題であり，ニュートンリング用凸レンズを用いた検討１），２）やシリコンウェハの接着による微小隙間試験片を用いた検討３）が報告されている。著者らの一人もガラス板中へ導入した自然き裂の開口量を光干渉法によって測定し，開口量と超音波の反射または透過挙動を光学的に観察して検討を加えている４），５）。
一方，このような線形超音波法に対し，材料中や界面を伝ぱする超音波の波形がひずむことによって発生する高調波や分調波を利用する非線形超音波法が研究されている６）－ 10）。この手法は，巨視的なき裂が発生する前の材料劣化や微小損傷部の検出などへも適用が可能であり期待が寄せられているが，ここでは閉じたき裂（閉口き裂）や開口量が極めて小さいき裂（微小開口き裂）の検出に着目する。接触音響非線形性（Contact Acoustic Nonlinearity：CAN）を用いた非線形超音波法では，大振幅の超音波を入射してき裂を強制的に振動させ，き裂面の開閉口や摩擦運動によって発生する高調波・分調波を検出する。従って，き裂面の開口量，表面粗さ，接触圧等の諸条件が高調波・分調波の発生へ及ぼす影響を知ることは非破壊検査精度の向上へつながるため，多くの研究が行われている11）－ 14）。分調波に対して高調波の利用については比較的研究が進んでいるが，高調波は高電圧の印加による超音波の発生過程や振動子の接着部，また探触子と材料間の結合媒質部など，計測系の様々なところから発生している可能性があるため，注意が必要である。以上のことより，検査対象とする閉口き裂や微小開口き裂から間違いなく高調波が発生していることを実験的に確認することが重要であり，村瀬らはアルミニウム合金ブロックの境界部から発生する高調波をレーザドップラ振動計を用いて可視化した15）。われわれも，き裂へ入射した超音波の伝ぱ挙動を実験的に可視化して直接観察することは，非線形超音波法の技術向上の一助になると考え，本研究では光弾性法を応用した実験手法により検討を行った。なお，光源の発光と超音波の入射のタイミングを同期させる一般的な手法（ストロボスコープ）に加え，振動子の1 回の励振のみによって発生させた超音波を超高速度カメラによって撮影する手法も用いた。さらに，平面偏光器による観察とともに，鋭敏色法16），17）を利用することによって縦波の引張相と圧縮相を区別して観察したので，ここに報告する。
