ディレクトリ
1.1 TOF研究
| TOFはある飛行の時間文字通りフライとして翻訳、速記ライン時間の平均値。いわゆる飛行3D画像の時間は、連続して、ターゲットに送信される光パルス、次いでセンサ受信光パルスの飛行検出することにより、物体からの戻り光（往復）目標時間から得られています。 基本原理と、この3Dレーザーセンサー技術があることを除いて、類似した3Dレーザーセンサーがある点走査によるポイント、およびTOFカメラがある画像全体の奥行き情報を取得すると同時に。TOFカメラとマシンビジョン通常の画像形成プロセスは、類似性を有し、光源、光学部材、センサ、制御回路部、及びいくつかの処理回路で作られています。そしてアプリケーションの両眼フィールドの同じ三次元非侵襲的検出に属し、根本的に異なる3D TOFカメラを有する撮像機構と比較して測定システムに非常に類似しています。両眼ステレオ計測により、左右のステレオ画像のマッチング後、次いでを通して三角測量法ステレオを検出するため、およびTOFカメラであることにより、受光反射取得が目標距離を取得します。 TOF技術能動光学的検出方法を用いて、一般的な照明のニーズが照明TOF照射ユニットのない対象、同じが、入射光信号との距離を測定する反射光信号を使用する、ようにしないで、照射ユニットは、TOFあります図に示すように、光は、例えばLED又はレーザダイオードから出射されたパルス光として、高周波変調後放出される、パルスは、100MHzのに達することができます。同様に、通常のカメラは、TOFカメラチップは、遠位集光レンズを必要とします。しかしそこ必要は照明源の波長のみが同一の光を入力することを確実にするためにバンドパスフィルタを追加することを除いて、共通の光学レンズ。実際の使用では、後続の処理ユニットが必要でエラーを訂正ように視点を有する光学イメージングシステム、異なる直径のそれぞれの同心球のための異なる距離ではなく、平行な平面におけるシーンからです。コアTOFカメラ、入射したカメラから、別々に各レコードをオブジェクト間の画素TOFチップ相として。通常のイメージセンサと同様のセンサ構造が、異なる時間に反射された光をサンプリングするための2つ以上のシャッタを備え、イメージセンサよりも複雑。このような理由により、平均画素イメージセンサの画素サイズよりTOFチップは、一般的に100umの周りに、はるかに大きいです。照射部とTOFセンサは、高精度の深さ測定を達成するように、高速制御信号を必要とします。例えば、照射光10PSシフトは、同期信号と1.5ミリメートルの変位に相当するTOFセンサの間で起こります。そして、現在のCPUは、対応するクロック周期は300psである与えるために45ミリメートルの対応する深さ分解能を与えるために、3GHzのをすることができます。算出手段は、距離情報を得るために、相対的位相シフトの関係を計算することによって補正データと計算、入射光の完了と反射光です。 TOFの利点：よりステレオカメラ又は三角測量システムと、TOFカメラは、いくつかの必要な光、小型カメラの行事のために非常に適したカメラ迷光の少しの平均サイズを有する、コンパクトです。TOFカメラはすぐ100FPSに数十に到達するために、リアルタイムでの情報の深さを計算することができます。TOFの深さ情報。速度を処理する複雑な相関アルゴリズムを使用するには、両眼ステレオカメラの必要性は、遅いです。TOF深さの計算は灰色ではなく、表面特性に影響を与える、非常に正確な三次元検出することができます。あなたはそれ以外の場合は、深さを計算することができなくなり、良好な特性の変更を持っている必要があり客観両眼ステレオカメラ。TOF深度算出精度が距離によって変化しない運動の幅広い多くの用途のために非常に重要であり、CM中で実質的に安定したレベルを変化させます。 1.2 TOFの研究機関
<1>ダイナミック3Dビジョン（2006年から2010年）： 研究の分野：マルチチップ2D / 3Dセンサー、動的シーンの再構成、認識および目標位置算出光場 公式サイト：www.zess.uni-siegen.de/pmd-home/dyn3d <2> ARTTS（2007から2010）： 全称：「飛行時間型センサに基づいて行動認識と追跡」 公式サイト：のhttp：//www.artts.eu 研究分野：よりコンパクトな安価TOFカメラの新世代の開発; TOFと組み合わせるHDTV技術（III）マルチモーダルインタフェースとインタラクティブシステムの動き追跡と認識アルゴリズムに基づい <3> Lynkeus（2006から2009）： 公式サイト：www.lynkeus-3d.de 研究分野：高解像度と、このような自動化やロボットナビゲーションなどの産業用途でのTOFセンサの堅牢性へのコミットメント <4> 3D4YOU（2008から2010）： 公式サイト：www.3d4you.eu 研究分野：3D-TV製品ラインの建設、レンジカメラTOF家庭用テレビ3D4YOUアプリケーションに3本の映画や変換3D表示からリアルタイムで点群データを取得し、奥行きと高解像度カメラがシーンの3D画像を計算し、初期化より推定初期化深さ。 <5> MOSES（2008-2012）： 全称：「環境元plorationためのマルチモーダルセンサシステム（MOSES）」 研究分野：TOFベースのヒューマン・マシン・インターフェースとマルチセンサ融合を含む広範囲のアプリケーションに基づいて、センサ 公式サイト：www.zess.uni-siegen.de/ipp_home/moses 1.3 TOF応用分野
TOFカメラは現在、主な応用分野は、次のとおりです。 <1>物流業界：パッキング及び評価のために出荷最適化するために、TOFカメラによって急速に巻き付けキャスト量（すなわち、体積）を得ます。 <2>セキュリティおよび監視： 上限を超えていない番号を入力するように求めることがPeoplecounting。 通过对人流或复杂交通系统的counting，实现对安防系统的统计分析设计； 敏感地区的检测对象监视； <3> 机器视觉：工业定位、工业引导和体积预估； 替代工位上占用大量空间的、基于红外光进行安全生产控制的设备； <4> 机器人： 在自动驾驶领域提供更好的避障信息； 机器人在安装、质量控制、原料拣选应用上的引导； <5>医疗和生物：足部矫形建模、病人活动/状态监控、手术辅助、面部3D 识别； <6>互动娱乐：动作姿势探测、表情识别、娱乐广告
1.4TOF相机特点
<1>优点： 1.相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即 区分前景与后景； 2.深度信息依旧可以完成对目标图像的分割、标记、识别、跟踪等传统应用； 3.经过进一步深化处理，可以完成三维建模等应用； 4.能够快速完成对目标的识别与追踪； 5.主要配件成本相对低廉，包括CCD和普通 LED 等，对今后的普及化生产及使用有利； 6.借助 CMOS 的特性，可获取大量数据及信息，对复杂物体的姿态判断极为有效； 7.无需扫描设备辅助工作 <2>缺点： 1.相对于普通数码相机，其造价仍然偏高，影响该产品目前的普及使用率； 2.相机本身仍然受到硬件发展的限制，更新换代速度较快； 3.测量距离较常规测量仪器短，一般不超过 10 米； 4.测量结果受被测物性质的影响； 5.大多数机器的测量结果受外界环境干扰较为明显，尤其是受外界光源干扰； 6.分辨率相对较低，本文研究的 PMD Camcube 2.0 型号相机，为目前分辨率最高的 3D 相机，其分辨率仅为 204×204像素（这个信息比较老了。没有实际意义）； 7. 系统误差及随机误差对结果影响明显，需要进行后期数据处理。 2 深度相机比较目前的深度相机有TOF、结构光、激光扫描等几种。主要用于机器人、互动游戏等应用。其中较多的是指TOF相机。目前主流的有TOF相机厂商有PMD、MESA、Optrima、微软等几家，其中MESA在科研领域使用较大，相机紧凑性好，而PMD是唯一一款能够在户内、户外均能使用的TOF相机，并且能够具有多种探测距离，可用于科研、工业等各种场合。而Optrima、微软（还不是真正的TOF技术）的相机主要面向家庭、娱乐应用，价位较低。 <1>MESA公司：SR4000 官网：www.mesa-imaging.ch <2>PMD公司：CamCube3.0 官网：www.pmdtec.com <3> Canesta公司：XZ422 官网：www.canesta.com <4> Fotonic公司 官网：http://www.fotonic.com/content/Company/Default.aspx 2.1 MESA系列介绍MESA Imaging AG成立于2006年7月，致力于生产销售世界领先的3D 飞行时间（TOF）深度测绘相机。该相机采用的图像芯片技术，能够实时采集三维数据列（通常称之为深度图像），并集成于一个紧凑的固件内。MESA 在此领域荣获过SwissRanger技术创新奖，众多的成功经验可以为客户带来定制相机解决方案。MESA的产品能够进行单相机3D成像。它采用飞行时间法（Time of flight），通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光、探测光脉冲的飞行（往返）时间来得到目标物距离。相比于其它立体成像方式，这种方式具有实时性好、无死区等特点。MESA的芯片由专门的厂家生产，并引进了CCD/CMOS生产工序，保证了光电功能模块的独立性以及优化配置。由此保证了MESA使用的芯片的底层噪声和随后的距离测量能力大大优于基于标准CMOS工艺制造的芯片。其型号是SR4000 SR4000 3D测距相机能以视频帧速率实时输出3维距离值和振幅值。基于时间飞行原理（time-of-flight TOF），相机包括一个内置的激光光源，发射光经场景中的物体反射后返回相机，每个图像传感器中的像素点都分别精确测量该时间间隔，并独立算出距离值。设计用于户内环境，SR4000可轻易经USB2.0或者以太网（Ethernet）接口连接到电脑或者网络中，快速生成实时深度图。代表着MESA公司第4代时间飞行原理相机，它可输出稳定的距离值，外形美观、坚固，体积小（65 X 65 X 68mm）（USB版）。 SR4000随机包括驱动和软件接口程序，用户可以通过接口程序创建更多的应用。 2.2 PMD Tec系列Camcube3.0是全球第一款可应用于室外环境的高精度深度相机，这为汽车辅助驾驶、移动机器人等应用带来了便利。在汽车等交通工具中，停车、开车运行等都一直通过驾驶员的直接观测和经验来完成，由于人的经验误差或精神状态影响，在实际过程中，难免会出现各种状况。而通过TOF相机3D探测，可以很方便的对外界环境进行探测，并对驾驶员起到提醒和辅助驾驶的作用。 PMDTec公司是一家德国公司，其原身是德国锡根大学一个研究传感器系统（ZESS）的中心实验室，2002年从德国锡根大学分离出来组建了公司，后被另一家公司收购组建了现在的PMDTec公司。该公司研究3D TOF Imaging（时间飞行技术）超过了10年。2011年，Omek Interactive和PMDTechnologies宣布达成了战略合作伙伴关系，以提供姿态识别和身体跟踪解决方案，这为今后的商业应用打下了坚实的基础。该公司的产品已经开发到了第三代 - CamCube3.0。3D摄像头的分辨率为200*200，可以以每秒40帧的速度获取场景的深度信息和灰度图像。CamCube3.0具有非常高的灵敏度，它可以在较短的快门时间内获得更高精度和更远的探测距离。由于其独家的SBI技术，TOF是少有的既可以用于室内，又可以用于室外的TOF相机，并可以探测快速运动目标。不过缺点就是价格不菲，不含税的话，要12000美元。所以只适合搞科研，对于民用还有很长的路要走。 PMDTec 公司网址：http://www.pmdtec.com/ PMDTec Wiki：http://en.wikipedia.org/wiki/PMDTechnologies 2.3 NATAL Natal并不是基于ToF的原理，PrimeSense为微软提供了其三维测量技术，并应用于Project Natal。在PrimeSense公司的主页上提到其使用的是一种光编码（light coding）技术。不同于传统的ToF或者结构光测量技术，light coding使用的是连续的照明（而非脉冲），也不需要特制的感光芯片，而只需要普通的CMOS感光芯片，这让方案的成本大大降低。Light coding，顾名思义就是用光源照明给需要测量的空间编上码，说到底还是结构光技术。但与传统的结构光方法不同的是，他的光源打出去的并不是一副周期性变化的二维的图像编码，而是一个具有三维纵深的“体编码”。这种光源叫做激光散斑（laser speckle），是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。当然，在这之前要把整个空间的散斑图案都记录下来，所以要先做一次光源的标定。在PrimeSense的专利上，标定的方法是这样的：每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来。假设Natal规定的用户活动空间是距离电视机1米到4米的范围，每隔10cm取一个参考平面，那么标定下来我们就已经保存了30幅散斑图像。需要进行测量的时候，拍摄一副待测场景的散斑图像，将这幅图像和我们保存下来的30幅参考图像依次做互相关运算，这样我们会得到30幅相关度图像，而空间中有物体存在的位置，在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起，再经过一些插值，就会得到整个场景的三维形状了。 2.4 primeSense今天最常见的影像捕捉设备是数码相机。数码相机输出一个像素矩阵，每个像素代表一个色值。这是一种二维（2D）视觉技术。3D 视觉是指除了捕捉目标的空间位置（x 轴和 y 轴）和颜色之外，还能捕捉目标的深度（又称 Z 轴、范围、距离）及其周围环境。一个 3D 视觉系统同时输出每个场景的地形视图和色彩视图。PrimeSense是一家无厂半导体公司。他们的技术赋予电视、机顶盒、客厅电脑等消费电子产品自然互动能力。他最得意的两个字就是:深度。他们的 PrimeSensor 产品包含 Reference Design 和 NITE 中间件。PrimeSensor Reference Design 是一款成本低廉、即插即用、靠 USB 供电的设备，可以放在电视机或显示器的顶部或旁边，也可以嵌入其中。ReferenceDesign 能够实时生成客厅场景的深度、色彩和音频数据。它能在各种室内照明条件下工作（包括一片漆黑和非常明亮的房间）。它不需要用户佩戴或手持任何东西，无需校准，也不需要主机处理器做任何运算。PrimeSensor 的设计中包含一个先进的视觉数据处理中间件，它针对面向大众市场的 CE 产品——NITE进行了优化。NITE 为开发丰富的自然互动应用程序提供了算法框架。NITE SDK（软件开发工具包）提供了一个文档详细的 API 和框架，既能完成 GUI（图形用户界面）的设计开发，又能完成游戏开发。 http://labs.manctl.com/rgbdemo/index.php/Main/Download RGBD标定 ，必看！！ http://www.ee.oulu.fi/~dherrera/kinect/ 最重要！！！ http://nicolas.burrus.name/index.php/Research/KinectCalibration ToF 标定 http://www.rgbdtoolkit.com/ |
