苹果在AR一直布局VR,最近的苹果开发者大会上,果家终于放出大招:iOS移动端ARKit平台以及VR兼容新桌面操作系统macOS High Sierra。 增强现实(AugmentedReality,简称 AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。说起AR,其实它并不是第一次出现,不管在国内还是国外,好多大小公司都对AR有所涉猎,去年流行的Pokémon Go,阿里的AR红包,百度的AR地图…都是AR领域的重要应用。那么,相比之下,苹果放出的ARKit会有什么新意呢? ARKit主要有三层核心技术技术: 第一层:快速稳定的世界定位 ,包括实时运算,运动定位,无需预设(软硬件)。
第二层:平面和边界感知 碰撞测试和光线估算,让虚拟内容和现实环境无缝衔接。
第三层,渲染,支持各种渲染制作工具,目标就是简单易用,和其它插件融合度好。
在开发ARKit之前,需要准备相应的软硬件环境: 软件环境:macOS10.13 、 Xcode 9 ,相关软件可以到开发者官网下载。 硬件环境:iPhone或者iPad 的iOS11 beta版本。处理器A9及以上(6S机型及以上)
一个简单的AR场景实现所需要的技术和实现步骤如下:
1.多媒体捕捉现实图像:如摄像头 2.三维建模:3D立体模型 3.传感器追踪:主要追踪现实世界动态物体的六轴变化,这六轴分别是X、Y、Z轴位移及旋转。其中位移三轴决定物体的方位和大小,旋转三周决定物体显示的区域。 4.坐标识别及转换:3D模型显示在现实图像中不是单纯的frame坐标点,而是一个三维的矩阵坐标。这基本上也是学习AR最难的部分,好在ARKit帮助我们大大简化了这一过程。 4.除此之外,AR还可以与虚拟物体进行一些交互。
另外让开发者们惊喜的就是ARKit对 Unity3D和Unreal也是全线支持。我们来看看ARKit的架构图: 而ARKit的核心就是ARSession,下面我们将一步步实现一个简单的ARKit场景。
1.打开Xcode9bete版本,新建一个工程,选择Augmented Reality APP(Xcode9新增),点击next。
2.在内容技术Content Technology选项中选择SceneKit。 ARKit提供了两种主要AR技术Content Technology 分别是: Scenekit: 基于3D场景 SpriteKit:基于2D场景 3,然后系统就为我们新建了一个简单的项目和场景。接下来要准备你的三维模型,一般的Mesh低模都可以,推荐使用dae格式文件。如果你要准备自己的三维模型,只需要将素材等放到art.scnassets 文件夹即可。
代码不用做任何的修改,直接运行即可。
当然,也可以使用SpriteKit做2D的场景。在新建项目的时候直接选择SpriteKit即可。
#import "ViewController.h" #import "Scene.h" @interface ViewController () <ARSKViewDelegate> //ARSKView是ARKit框架中负责展示2D AR的预览视图 @property (nonatomic, strong) IBOutlet ARSKView *sceneView; @end @implementation ViewController - (void)viewDidLoad { [super viewDidLoad]; // Set the view's delegate //设置场景视图代理 self.sceneView.delegate = self; // Show statistics such as fps and node count //显示帧率 self.sceneView.showsFPS = YES; //显示界面节点(游戏开发中,一个角色对应一个节点) self.sceneView.showsNodeCount = YES; // Load the SKScene from 'Scene.sks' //加载2D场景(2D是平面的) Scene *scene = (Scene *)[SKScene nodeWithFileNamed:@"Scene"]; // Present the scene //AR预览视图展现场景(这一点与3D视图加载有区别) [self.sceneView presentScene:scene]; } - (void)viewWillAppear:(BOOL)animated { [super viewWillAppear:animated]; // Create a session configuration //创建设备追踪设置 ARWorldTrackingSessionConfiguration *configuration = [ARWorldTrackingSessionConfiguration new]; // Run the view's session //开始启动AR [self.sceneView.session runWithConfiguration:configuration]; } - (void)viewWillDisappear:(BOOL)animated { [super viewWillDisappear:animated]; // Pause the view's session [self.sceneView.session pause]; } - (void)didReceiveMemoryWarning { [super didReceiveMemoryWarning]; // Release any cached data, images, etc that aren't in use. } #pragma mark - ARSKViewDelegate //点击界面会调用,类似于touch begin方法 anchor是2D坐标的瞄点 - (SKNode *)view:(ARSKView *)view nodeForAnchor:(ARAnchor *)anchor { // Create and configure a node for the anchor added to the view's session. //创建节点(节点可以理解为AR将要展示的2D图像) SKLabelNode *labelNode = [SKLabelNode labelNodeWithText:@"在苹果的例子中,已经给我们提供了相关的模型,这里主要讲怎么替换例子的模型。我们可以在TurboSquid网站上下载dae格式的3d模型。 然后选择广告牌点击下载即可,然后我们解压free_billboard_3ds文件,得到如下图片: 接下来将“pict1.jpg”和“pict2.jpg”替换我们所准备好的图片。
Xcode默认的AR项目自带了一个3D模型,我们需要用我们刚创建的模型替换它。查看我们的Project Navigator,找到一个名为art.scnassets的文件夹。 选择“ship.scn”和“texture.png”,然后删除。按住Control键,选择“art.scnassets”文件夹。然后选择“Add Files to art.scnassets”。
接下来,我们需要对模型的位置等信息进行设置。点击下面的截图中的红色箭头指向的小图标。
我们可以手动输入一些值来改变坐标系:
Position x:0.255 y: - 57 z:-87
Scale x:0.09 y:0.09 z:0.09
当我们修改了系统模型之后,需要修改相应的代码,VC的修改的地方如下:
SCNScene *scene = [SCNScene sceneNamed:@"art.scnassets/ship.scn"];改成你对应的模型即可。
xiangzhihong8 认证博客专家 HTTPS 前端框架 JavaScript 著有《React Native移动开发实战》、《Kotlin入门与实战》、《Weex跨平台开发与实战》、《React Native开发进阶》和《Flutter跨平台开发实战》,正努力完成《Android应用架构实战》