学生による視覚情報処理研究室の紹介（H22年度）

ここでは，長岡高専・電子制御工学科・視覚情報処理研究室の機材や研究内容を， 平成22年度の配属学生4名が紹介します．

1. 非接触3次元スキャナ
2. HMD(Head Mounted Display)
3. 偏光メガネ方式立体ディスプレイ
4. 裸眼立体視ディスプレイ
5. 3Dマウス
6. マシンビジョン用カメラ(CCD/CMOS, USB2.0/IEEE1394)
7. 全方位カメラ
8. ディジタルステレオカメラ

非接触3次元スキャナ

写真1.1・VIVID910の外観

当研究室には，物体に触れることなく，実物体の形状を計測するKONIKA MINOLTA社製 VIVID910(写真1.1)があります． VIVID910では，三角測量の原理を用いて物体の表面形状を計測します．

レーザを計測したい物体に当てていき，その反射した光をCCDカメラで受光します． このとき使用するレーザはスリットレーザであり，これは細長い線状に照射を行うレーザです． スリットレーザを用いることで，物体を下からスライスしていくようにレーザを物体に照射することができます． そして，スリットレーザと計測したい位置とCCDカメラとの三角形を考え， 一辺の長さ(レーザとCCDカメラ間の距離)とその両端の角度を測定します． この三つの値より，三角測量の原理を用いて計測したい物体とVIVID910との距離情報が分かります． これにより，2次元画像のように縦と横の位置に加えて，奥行きの情報が得られます． これを2.5次元画像とします． VIVID910のCCDカメラは640×480画素であるため，各画素について奥行きを計測することができ， 2.5次元画像を生成することができます． この2.5次元画像を回転テーブルを用いて，90度刻み， または60度刻みで様々な方向から撮影します．

様々な方向から撮影した2.5次元画像を位置合わせして，組み合わせることで3次元画像となります． CCDカメラが付いており，物体の形状と同時に画像も撮影するので，計測した物体に画像を貼ることにより， 写真1.2，写真1.3 のように実際の物体のような仮想三次元物体を表示することができます．

写真1.2・VIVID910で計測した物体形状	写真1.3・画像を貼った物体

VIVI910を用いて2.5次元画像を撮影する際には，回転テーブルを使用して様々な角度から撮影するため， 光源も回転させないと光源の位置がバラバラになってしまいます． このように，光源の位置が撮影する角度ごとに異なると， 2D画像を組み合わせて3D画像にしたとき画像を貼るだけでは写真1.3 のように光の当たり方が不自然に見えます． それを改善するために， VIVID910を用いて物体の光の反射係数を求める研究 が行われています．

(電子機械システム工学専攻2年 A・I)

HMD(Head Mounted Display)

写真2.1・非透過型HMD

写真2.2・ビデオ透過型HMD

HMDとは，写真2.1のように頭部に装着するディスプレイです．

HMDのディスプレイ方式には，非透過型，ビデオ透過型，光学透過型の3種類があり， 当研究室には，Vuzix社製の非透過型HMD(写真2.1)iWare VR920があります． このHMDは，Vuzix社製USBカメラを装着することでビデオ透過型HMD(写真2.2) として使用することができます．

非透過型HMDは，写真2.1のように装着すると外の様子が見えなくなるHMDです． 外の様子が見えないので，より，臨場感が得られます． ビデオ透過型HMDも，非透過型HMDと同様に装着すると外の様子を見ることができなくなるHMDです． このHMDには，写真2.2のようにビデオカメラが装着されているので， ビデオカメラから得られる映像をHMDに映しだすことで外の様子を見ることができます． この他に，HMDには光学透過型HMDというものがあります． 形のイメージは，SF映画などで描かれるような映像の映るメガネです． このHMDは，ディスプレイがハーフミラーでできているため， 外の様子を直接見ることができます． ハーフミラーとは，明るい方から暗い方が見えなくなるガラスのことです． これを用いることで，HMDを装着している人の視線が周りの人から見えなくなります． 以上の3つのHMDのちがいをまとめたものを表2.1に示します．

当研究室が所有するHMDの画面表示サイズは，横640ピクセル，縦480ピクセルですが， 2.7メートル先に62インチの画面を見る感覚が得られます． また，このHMDには磁気センサが搭載されているので，観察者が向いている方向を検出することができます．

当研究室ではこのHMDを用いて， HMDと全方位カメラを用いた遠隔臨場感について の研究が行われました．

(電子制御工学科5年 F・H)

偏光メガネ方式立体ディスプレイ

図3.1・偏光メガネ方式立体ディスプレイの原理

当研究室には，偏光メガネをかけることで映像を立体的に見ることのできる偏光メガネ方式立体ディスプレイがあります．

普通の液晶ディスプレイでは，バックライトから放射された白色光をRGB(Red,Green,Blue)のカラーフィルタを通し， 着色して，空間中を波として伝えていきます． 波として伝わるため，振動しており，この振動には方向があります． バックライトから放射された光は振動する方向はさまざまですが， これを一つの方向の振動しか通さないフィルタを介して一つの方向にしか振動しない波にした光を偏光と言います．

偏光メガネ方式立体ディスプレイでは，名前の通りこの偏光を利用して立体表示を行ないます． 液晶ディスプレイは，光の三原色であるRGBが規則正しく並んでおり， それを後ろにあるバックライトから当てる光の強さを調節することにより色を表現しています． この規則正しく並んだ一行の線を走査線と言います． 偏光メガネ方式立体ディスプレイでは，図3.1のように奇数番目の走査線に右目用の画像， 偶数番目の走査線に左目用の画像を表示します．

奇数番目の走査線上には進行方向に向かって右ねじを回す向きに回りながら進む光(右円偏光)を作る偏光フィルタがあり， 偶数番目の走査線上には左円偏光を作る偏光フィルタがあります． 同様に，偏光メガネの右目には，右円偏光の光を通す偏光フィルタがあり， 左目には左円偏光の光を通す偏光フィルタがあります． このようにして，右目には右目用の画像，左目には左目用の画像だけを見るようにすることにより， 脳が立体的に見ていると判断し，立体視が行なえます． これが偏光メガネ方式立体ディスプレイの原理です．

この偏光メガネ方式立体ディスプレイの円偏光の他に縦と横に振動しながら進む光を作る偏光フィルタ(直偏光)があります． しかし，直偏光だと顔やメガネが傾いてしまった場合に， 光が振動している方向と偏光フィルタが光を通す振動の方向がずれてしまい， 光を通さなくなってしまいます． そのため，顔やメガネを傾けないように見ないとうまく立体視を行うことができません． 円偏光では，顔やメガネが傾いてしまっても，円のまわる方向で偏光しているので， 偏光フィルタを通すことができ，立体視をすることができます． このような理由から円偏光を用いていると考えられます．

この偏光メガネ方式立体ディスプレイを用いて， デジタルステレオカメラで撮影した画像をゆがみを除去して立体表示させる研究 が行われました．

(電子機械システム工学専攻2年 A・I)

裸眼立体視ディスプレイ

図4.1・視差バリア方式

図4.2・レンチキュラー方式

裸眼立体視ディスプレイは偏光眼鏡などの特殊なメガネを用いずに， 裸眼で立体的な映像を見ることができるディスプレイです．

人は，両目の視差によって物体との距離を得たり，立体感を得ています．裸眼立体視ディスプレイは， この視差を利用して映像を立体的に見せることができます．

裸眼立体視ディスプレイは， 通常のディスプレイの表面とカラーフィルタとの間に板状のレンチキュラーレンズや縦縞フィルタの視差バリアが設けられています． カラーフィルタとは，1ピクセル(1画素)を光の三原色(RGB)に対応した3つのサブピクセルに分け， それを敷き詰めたフィルタです．このフィルタはバックライトからの白色光に色をつける役目を果たしており， サブピクセル単位で光の透過を制御することによって，ピクセルごとの発色を制御します．

視差バリア方式とは，カラーフィルタとディスプレイの間に視差バリアという縦縞の板を設け， 左右の目に異なる映像を見せるものです． 視差バリアを図4.1のように配置させると，左目には左目用の画像だけが， 右目には右目用の画像が認識されることによって視差が生まれ， 結果として適切な位置からなら裸眼で立体的な画像を見ることができます． 当研究室にはこの視差バリア方式の裸眼立体視ディスプレイがあります．

レンチキュラーレンズ方式はレンズの焦点位置を利用することによって，左右の目に異なった画像を見せる方式です． 図4.2のようにカラーフィルタの位置に対応したレンチキュラーレンズを配置します． このとき焦点位置が画像面になるようにレンズを配置します． これによって，適切な位置からディスプレイを見ると，左右の目で異なった画像が見えて視差が生まれるので， ディスプレイに映った画像が立体的に見えます．

当研究室ではこの裸眼立体視ディスプレイを用いて， 三次元形状データを立体的に描画する研究 が行われました．

(電子制御工学科5年 H・K)

3D入力装置

3D入力装置とは，3次元物体を操作するのに適した入力装置のことです． 当研究室には，ELECOM社製3Dマウス(写真5.2)と 3D Connexion社製Space Navigator(写真5.3)の二つの3D入力装置があります．

仮想3次元空間中での物体の動きとして図5.1 のようにXYZの各軸に沿った向きの平行移動と各軸まわりの回転があります． このように，物体が自由に移動することのできる運動の向きを自由度といいます． ComputerGraphics(CG)を用いて表現した3次元物体というのは三つの平行移動と三つの回転がありますので， 6自由度となります．

この6自由度を持つ物体を操作するのに，従来のようなマウスでは， 基本的に縦と横の動きしかできないので操作するのが難しく，慣れるまでに時間が掛かっていました． そこで，三つの平行移動と三つの回転を入力できるようにしたのが3D入力装置です． この3D入力装置を用いることで，CAD等の6自由度を持つ物体を操作するときの作業効率の向上が期待されています．

3Dマウスでは，赤い丸印が付いている三つのスティックを上下左右に動かすことにより，6自由度入力を行ないます． Space Navigatorでは，中央にあるスティック状の把持部を引っ張ったり，ねじったり， 横に動かしたりすることにより，6自由度入力を行ないます．

図5.1・自由度の概念	写真5.2・ELECOM社製3Dマウス	写真5.3・3D Connexion社製Space Navigator

この3D入力装置を用いて， 3D入力装置の入力状態を仮想三次元空間中で物体の移動・回転に対応させて操作を行う研究 が行われました．

(電子機械システム工学専攻2年 A・I)

マシンビジョン用カメラ(CCD/CMOS, USB2.0/IEEE1394)

当研究室には株式会社アートレイ社製のARTCAM-500MI，ARTCAM-150PIII-DS， そしてARTCAM-036MI-TWIN(このカメラは完全同期型といって二つのカメラを同期させて撮影することができます)， Sony社製のDFW-SX900の四種類のマシンビジョン用のカメラがあります． マシンビジョンとは人の目の代わりに画像の認識などを行うシステムのことです． 当研究室にあるカメラの撮像素子と画素数，接続方法を表6.1にまとめます．

表6.1・撮像素子と接続方法

項目	ARTCAM-500MI	ARTCAM-150PIII-DS	ARTCAM-036MI-TWIN	DFW-SX900
外観
撮像素子	CMOS	CCD	CMOS	CCD
画素数	500万画素	150万画素	36万画素	145万画素
接続方法	USB2.0	USB2.0	USB2.0	IEEE1394

CCD(Charge Coupled Device)とは電荷結合素子と呼ばれているもので， 半導体の上に絶縁体を介して電極を多数配列させたものです． レンズから入射された光をフォトダイオードが受光し， 光の明暗を電荷の量としてとらえそれを順次読み出し電気信号に変換し映像化しています．

CMOS(Complementary Metal Oxide Semiconductor)とは相補型金属酸化膜半導体と呼ばれているもので， CCDと同様の原理で映像化しています． ただし製造過程や信号の読み出し方がCCDと異なっています． CMOSはCCDに比べ消費電力が少なく，価格も安いです． しかしCMOSはCCDよりノイズが多くなってしまうのが欠点といわれています． またCMOSはROI(region of interest：呼び出したい部分を指定すること)を設定し， 不要な部分を読み飛ばすことによって，撮像領域内の任意の領域を高速に呼び出すことができます．

接続方法はUSB2.0と，IEEE1394の2種類があります． それぞれの最大伝送速度はUSB2.0は480[Mbps]， IEEE1394は100/200/400[Mbps]と，ものによって異なりますが現在では3200[Mbps]まで拡張されています．

(電子制御工学科5年 T・H)

全方位カメラ

写真7.1・全方位カメラ

全方位カメラは，周囲360度の景色を一度に撮影ができるカメラです．

写真7.1のように，このカメラにはレンズの前方に三角錐のような形をしたミラーが備わっています． このミラーはカメラのレンズから観ると周囲360度の景色が写るような形に加工されています． このミラーに映った景色をカメラで撮影することによって全方位画像を得ることができます．

通常のカメラで撮影する場合，焦点位置にある物体にしかピントが合いませんが， 物体が焦点位置から多少前後してもピンボケが許容できる範囲があります． この範囲を被写界深度といいます． 被写界深度を大きくするためには，レンズを大きく絞る必要がります． しかし，明るい写真を撮影するためには， レンズを小さく絞らねければいけないので，一般的なカメラの被写界深度は浅くなってしまいます． 一方，全方位カメラではミラーに映った景色を撮影しているため， ミラーが被写界深度内にあれば，遠くの景色もピンボケがほとんど無く撮影することができます．

写真7.2は実際に全方位カメラで撮影した景色です． このままでは観にくいので通常，ソフトを使って座標変換を行い， この画像をパノラマ展開して写真7.3のようにします．

この全方位カメラは1度で周りの景色を撮影することができるため， 防犯カメラとして設置すればカメラの台数を減らしたり， ロボットを遠隔操作する場合にロボットの視点を変える操作を省くことができます．

当研究室では 全方位カメラとHMDを使って，離れた場所での状況を把握する研究 が行われました，

写真7.2・全方位画像	写真7.3・パノラマ画像

(電子制御工学科5年 H・K)

ディジタルステレオカメラ

写真8.1・ディジタルステレオカメラ

ディジタルステレオカメラは，写真8.1のように同じ高さに二つのカメラが備わっており， それによって2つのレンズが撮影する映像に視差が生まれ，右目用の映像と左目用の映像を撮影することができるカメラです．

このカメラで撮影された画像はMPOファイルで保存され，動画は2チャンネルのAVIファイルで保存されます． この画像ファイルや動画ファイルはカメラに備わっている裸眼立体視ディスプレイなどで立体的に観ることができます．

MPO(Multi-Picture Format)ファイルとは， 複数の画像データを1つにまとめて記録することができるファイルです． パソコン上でこのファイルを開く場合は， カメラ付属の「FinePix Viewer」やフリーソフトの「ステレオフォトメーカー」を使用します．

写真8.2，写真8.3は， このカメラで撮影したステレオ写真をそれぞれ表示したものです． 写真8.4はこのカメラで撮影した右目用と左目用の画像をソフトを使用して， アナグリフ方式に加工したもので，赤青眼鏡を使用することで立体的に見ることができます．

アナグリフ方式は赤青眼鏡方式とも呼ばれ，視差のある二枚の画像をそれぞれ赤単色と青単色で表示し， 赤青眼鏡を通して見ることで右目と左目で別の画像を認識させるようにしたものです．

しかし，このカメラで行うようなステレオ画像の立体視では， 観察者の焦点の位置が常にディスプレイ上になってしまいます． これは，ディスプレイの奥の空間を知覚することができなくなるため実空間での立体視との間に歪みが生じてしまい， 観察者の違和感や疲労を生むことになります． この問題を解決するため当研究室では， ステレオカメラ画像から立体感を得る場合の歪みを除去する研究 が行われました．

写真8.2・左眼用画像	写真8.3・右目用画像	写真8.4・アナグリフ

(電子制御工学科5年 H・K)

本ページの無断転載・複写は禁止いたします．
Copyright© 2010 Visual Information Processing Laboratory (Takahashi Laboratory),
Department of Electronic Control Engineering, Nagaoka National College of Technology.
All rights reserved.