1.2　Intel RealSense技术

Intel RealSense技术是Intel公司于2012年开发的、用于自然人机交互的技术，是在深入剖析从人类传感到交互的实现过程基础上，为计算设备添加“类人”感官而进行的技术创新。人类参与交互的部位包括眼、耳、手、嘴等，如图1-1所示。

人类感知世界主要以眼和耳为输入器官，通过对视觉、声音的获取，并经过人类大脑的相关感知区域识别、处理，最终形成人对外界事物的认知与判断。其中，人类大脑就是中央处理器，在眼、耳感官基础上进行手势、表情、自然语言分析等复杂的认知。计算设备类似人类大脑，Intel RealSense技术的核心就是为计算设备添加视觉、听觉等“类人”感官的硬件及软件库，使计算设备能够像人一样对外界进行反应，与外界交互。

在感知硬件中，视觉传感器是信息量最大的输入手段。视觉传感器从最初的几十万像素已经逐步发展到高清、超高清。但传统视觉传感器所提供的2D图像与真实世界中的景象与物体还是有很大差异的。用普通摄像头拍照或录像，只能把真实世界的景象投影到2D平面。这样2D平面图像就缺失了真实世界的深度信息，使其身临其境感大打折扣，如图1-2所示。人眼是通过双眼视差来获得深度信息的。深度信息对于物体识别、运动估计等深层次视觉任务至关重要。Intel RealSense摄像头是3D摄像头，利用红外成像技术在普通彩色摄像头的基础上提供了深度信息。Intel RealSense摄像头不仅可以像微软Kinect、LeapMotion等设备那样作为独立设备使用，甚至可以嵌入笔记本电脑、PAD、手机等设备中，这就大大拓展了3D摄像头的应用范围。Intel RealSense 3D摄像头能实时提供彩色图像及其深度图，手部图像示例如图1-3所示。这样可以轻松地把真实的3D世界捕捉到数字的3D世界，并且重现每个像素点的真实（x，y，z）。可以预见，RealSense技术一定会占据重要的市场地位。

1.Intel RealSense 3D摄像头

目前有两类Intel RealSense 3D摄像头，一类是主要用于近距离场景的3D摄像头，型号为F200、SR300；一类是主要用于远距离场景的3D摄像头，型号为R200。

外置式的近距F200摄像头如图1-4所示。其技术规格如下：

• 前置摄像头（0.2~1.2米，仅限室内使用）
• 景深/IR：640×480，分辨率@60fps
• RGB：1080p@30fps
• USB 3.0
• 开发人员套件规格：150毫米×30毫米×58毫米
• 支持Microsoft Windows 8.1（64位）

2.F200

近距的F200通常集成在笔记本电脑等设备的前面板，聚焦个人设备交互，如手、面部表情，其作用范围与距离如图1-5所示。

如图1-6所示是F200的内部构造图，可以看到F200包含内置的实感图像处理芯片、红外传感器、彩色传感器、红外激光发射器等主要部件（从左至右）。红外激光发射器按预定的模式投射红外光到视场中，红外光经物体反射后由红外传感器接收，并由实感图像处理芯片计算得出深度场。彩色传感器则提供2D平面图像信息。模组最后通过USB3.0输出RGBD（红、绿、蓝及深度）信息。通过UV map来把深度信息D映射到相应的RGB像素点上。这样每个像素点都可以计算出相应的3D世界坐标（x，y，z）。所有这一切功能都集成在110.0mm×12.5mm×3.75mm尺寸的模组上，通过USB直接供电，最大限度地节约了空间和功耗，使得将Intel RealSense 3D摄像头集成在移动设备上成为可能。

SR300是Intel最新推出的F200升级版近距离3D摄像头。相对于F200的主要性能SR300在以下方面有所改进：

• 距离和检测速度提升
• 低照度条件下的彩色图像质量提高
• 彩色和深度数据流的同步提升
• 更低的功耗

3.R200摄像头

图1-7是外置式的远距R200摄像头，其技术规格如下：

• 景深摄像头外设
• 远距3D摄像头（室内3~4米，室外距离更远）
• 景深/IR：640×480，分辨率@60fps
• RGB：1080p@30fps
• USB 3.0
• 开发人员套件规格：130毫米×20毫米×7毫米
• 支持Microsoft Windows 8.1及更高版本（64位版本）、Android Linux

远距的R200摄像头通常集成在PAD、手机等智能设备的后板上，聚焦环境交互，其作用范围与距离如图1-8所示。

图1-9是R200摄像头的内部构造图。R200主要用于远距离场景，利用双目视差原理进行两路红外传感接收，从而提高远距离测距的准确性。可以看到R200包含内置的左红外传感器、色彩传感器、红外激光发射器、右红外传感器、实感图像处理芯片等主要部件（从左至右）。红外激光发射器发射出固定的散斑，由左右红外传感器来接收信息，通过三角定位原理，实时计算出每个像素点的深度信息。同时色彩传感器获得正常的高质量RGB信息。模组最后通过USB 3.0输出RGBD信息。通过UV map来把深度信息D映射到相应的RGB像素点上，这样每个像素点都可以计算出相应的3D世界坐标（x,y,z）。R200将所有的器件高度集成在101.6mm×9.6mm×3.8mm尺寸的模组上，通过USB直接供电，最大限度地节约了空间和功耗，使得集成RealSense 3D摄像头不仅在平板电脑、手机等移动设备上成为可能，而且能拓展到机器人、无人机等智能设备的视觉领域。

4.Intel RealSense SDK

为了更加方便开发者利用高度集成的Intel RealSense摄像头，Intel RealSense技术还提供了丰富的SDK，包含预先开发好的各类计算机视觉算法，以支持应用程序的自然人机交互，表1-1总结了Intel RealSense SDK for Windows支持的特性。SDK支持C++、C#、JavaScript、Java、Unity等多种编程语言，限于篇幅，书中例子均以C语言为主。