ロボット屋さんMisskeyサーバー立てたのでアカウント作って！ 
久しぶりに投稿論文（うっそうとした畑で作物の茎を認識するための深層学習に関するもの）が出ます
Wed Feb 2 17:05:50 JST 2022 (modified: Wed Feb 2 17:40:51 JST 2022)
views: 1113, keywords:報告 この記事は最終更新日が2年以上前のものです。
ITエンジニア本大賞同様、ここに書くのが遅れました（もしかしたら書いて忘れてるかもしれません）が、 久々に投稿論文が採択されて、掲載待ちです。 「お前の本業はなんだ？」と聞かれて思わず「ライター」と答えてしまう ような状況が続いてましたので嬉しいです。 筆頭の三上さん、共著者の皆様おめでとうございます＆ありがとうございました。 なお、まだ正式なものは掲載されていませんが、早期公開という制度があって、校正の入る前の原稿が下記リンクからPDFが入手できます。ぜひ読んでみてください。
ヤンマーさんと行っている深層学習の研究の論文がロボット学会誌で公開されましたー。
— 上田 隆一 (@ryuichiueda) January 12, 2022
葉っぱに隠れた作物の茎がどこにあるかを推定して補間するという研究です。
（いま思うと、その前段階である「見えている茎の認識」のほうが超絶難易度高いんですが。）https://t.co/mUKzljEGMD
内容
論文の内容については、共同研究なので論文以上の情報をここには書けないのですが、ここから画像を持ってきて要約して説明します。
まず、次ようなリアルなCG画像（背景は実写）を準備します。このCGと、どこが葉でどこが茎なのかを指示したデータで、ニューラルネットワークをトレーニングします。なぜCGを使うかというと、「どこが葉でどこが茎なのかを指示したデータ」を実物から作るのには、大変な手間がかかるからです。
CG画像は、上田研のCG職人石川さん（すでに卒業）が作りました。
トレーニングするニューラルネットは2つあります。 一方は、（ちょっとノイズがあるけど）手前の葉っぱや茎を検出するものです。調教済みのニューラルネットワークの入出力を下図に示します。左のような写真を入力すると、右のような塗り絵を出力します。
もう一方のニューラルネットワークは、上のニューラルネットワークの出力から、写真手前に写った茎を（葉っぱに隠れたものも含めて）検出するものです。下図では、上の写真が元の写真で、下の白黒画像が出力です。
多少間違いもありますが、葉っぱに隠れたところも白くつながっているのが分かるでしょうか。
元の写真を見ると分かるように、畑で水平方向にカメラを向けて写真を撮ると、半分以上が緑に覆われた写真になりがちです。この写真からは、人間でもどこに何があるのか判別するのに時間がかかります。深層学習の研究としても、従来よりかなり難しい問題を解いているのですが、作成したニューラルネットワークは1秒もかからず、どこが葉でどこが茎かを出力できました。
あとは、冒頭のツイート内のリンクから、PDFをご一読ください。
以上です。
ノート
Tweet
