注册 登录

图书分类

高可靠系统构建指南：服务稳定性建设与技术债务治理

高可靠系统构建指南：服务稳定性建设与技术债务治理

本书以服务稳定性建设与技术债务治理为主线，深度剖析 Java 服务全生命周期中的关键问题与解决方案，通过“问题诊断-治理框架-实践落地”的三层递进结构，构建了覆...

 

特色专题

帮助

Unity跨平台音视频通信从入门到应用
  • 推荐0
  • 收藏0
  • 浏览144

Unity跨平台音视频通信从入门到应用

李清凯 李淑英 编著 (作者)　 孔祥飞 (责任编辑)

  • 书　　号：978-7-121-45245-1
  • 出版日期：2023-04-01
  • 页　　数：256
  • 开　　本：16(240*190)
  • 出版状态：上市销售
  • 维护人：石倩
本书以实用为宗旨，讲解如何在不依赖云服务的情况下使用Unity独立开发安全、可靠的音视频通信技术。全书共计10章，主要包括Unity音视频通信、Unity软件基础、3D数学与着色器基础、多媒体音频技术、多媒体视频技术、Unity网络通信基础、跨平台音视频通信核心、桌面平台音视频通信实现、Android平台音视频通信实现、XR平台音视频通信实现的相关内容。
本书适合对跨平台音视频通信技术有需求、感兴趣的读者阅读，也适合跨平台音视频通信应用程序的相关开发者阅读，还适合高校及培训机构相关专业的师生参考阅读。
1．适合快速入门：本书解决了新手学Unity软件功能多、复杂、入门难的问题，确保其在短时间内快速入门。2．内容实用专业：本书深入浅出地讲解在Unity多平台开发音视频通信的相关技术，确保内容专业、实用。3．实例丰富全面：本书的实例经过精心挑选，并且丰富全面，使读者能够掌握相关开发的必备技能。4．配套教学资源：配套实例素材及源文件，多媒体教学课件，后期建立读者群可增加额外教学资源。
李清凯
潍坊幻视软件科技有限公司主程。科学与信息技术专业，全栈工程师，微软系技术追随者，擅长Net Core、Unity 3D、Machine Learning等技术开发。对数据负载均衡、数据优化等技术有大量实际应用经验。《一种跨平台视频通信方法》专利发明人。


李淑英，98年至今在潍坊创新教育研究院负责远程视频监控、学校安全教育等工作。在视频通信编码及传输的技术领域积累了宝贵的经验，《一种跨平台视频通信方法》专利发明人，山东省省级先进工作者。

前言
实时跨平台音视频通信技术是当下比较热门的一种技术，应用广泛，各种实现方法及技术层出不穷，现有的各种云服务商也提供了比较成熟的实时音视频服务。
WebRTC技术是比较成熟的音视频通信技术，已经被W3C和IETF发布为正式标准。由于大部分主流浏览器都支持WebRTC标准的API，因此，这使得浏览器之间无插件化的音视频通信成为可能，大大降低了音视频通信应用程序开发的门槛，让开发者可以快速构建出音视频通信应用程序。但这项技术并不适用于所有平台，在某些平台（如XR平台）上并不会获得很好的体验。所以，可以快速适配不同平台（硬件及操作系统），兼顾高性能，通过简单配置就能使用，才是开发者们在元宇宙时代对音视频通信技术的迫切需求。
跨平台的实现主要归功于Unity引擎，它对于大部分平台所具有的兼容性，极大地方便了开发者对跨平台应用程序的开发与部署，本书中的所有开发技术都建立于该开发工具的基础之上。
本书内容基于Unity的API特性全面适配各类平台，从实际的学习需要出发，结合笔者多年的开发经验精选内容，通过丰富的案例进行实践，培养读者实际应用与拓展Unity开发的能力，并且结合讲解的知识点总结开发成功的案例，培养读者综合应用Unity开发相关应用程序的初步能力。

主要内容
第1章：介绍音视频通信的发展历程、应用场景与应用需求。
第2章：介绍Unity软件的基础知识，是初级开发者的入门章节。主要内容包括软件介绍、界面介绍、窗口介绍、项目创建、常用的物体和组件、脚本认识、资源包管理和构建设置等。
第3章：介绍3D数学与着色器的相关知识，包括对物体的移动、缩放，对坐标系的转换、计算，对向量的计算、转换，以及表面着色器和计算着色器的相关知识，并且通过几个应用示例介绍表面着色器和计算着色器的使用方法。
第4章：对多媒体音频技术进行简单的介绍，包括音频设备、音频源组件、音频权限、音频多通道、音频采样、音频数字化等。
第5章：对多媒体视频技术进行简单的介绍，包括视频设备、视频权限、图像捕捉与视频捕捉、图像数字化、图像和视频压缩技术等。
第6章：介绍Unity网络通信的基础知识，包括Unity通信API、TCP通信、UDP通信，并且使用C#脚本基于Socket的高性能编写TCP通信框架和UDP通信框架。
第7章：全面地介绍Unity中音频、视频的数字化及网络传输、接收、解码的流程。
第8章：介绍桌面平台音视频通信实现的相关知识，包括桌面平台特征、构建设置、场景搭建、组件设置、测试发布、测试运行等。
第9章：介绍Android平台音视频通信实现的相关知识，包括Android平台特征、构建设置、场景搭建与贴图压缩、组件设置、测试发布、测试运行等，并且大篇幅地引入计算着色器的相关内容，将普通的数字化数据转换为JPG图片数据，从而大幅提升性能及速度。
第10章：介绍XR平台音视频通信实现的相关知识，并且以HoloLens为代表设备讲解了XR平台的开发设置、构建设置、场景搭建与贴图压缩、组件设置、测试发布、测试运行等。
本书内容来源于潍坊幻视软件科技有限公司在AR/MR领域的技术研发及应用成果，本书所讲解技术已获得“一种跨平台视频通信方法”的发明专利授权，内容比一般的发明专利的公开形式更详尽，方便技术教学和读者学习。其中的音视频技术可以广泛应用于包括但不限于AR/MR领域的各类游戏、虚拟仿真等多平台项目中。
读者须知：购买本书并不能获得任何形式的专利授权，并且在未获得专利权人许可的情况下不允许在任何领域对该技术进行商用。

目录

目录
第1章 Unity音视频通信 1
1.1 引言 1
1.2 发展历程 1
1.3 技术应用 2
1.3.1 应用场景 2
1.3.2 应用需求 2
1.4 本章总结 3
第2章 Unity软件基础 4
2.1 引言 4
2.2 软件介绍 4
2.2.1 简介 4
2.2.2 Unity版本 5
2.2.3 Unity Hub简介 5
2.3 界面介绍 8
2.3.1 菜单栏 8
2.3.2 导航栏 9
2.3.3 工作区 10
2.4 窗口介绍 10
2.4.1 Project窗口 10
2.4.2 Hierarchy窗口 12
2.4.3 Inspector窗口 13
2.4.4 Scene窗口 14
2.4.5 Game窗口 15
2.5 项目创建 16
2.5.1 创建新项目 16
2.5.2 添加项目 17
2.6 物体、组件 17
2.6.1 常用的物体 17
2.6.2 常用的组件 18
2.7 脚本 18
2.7.1 脚本创建 18
2.7.2 生命周期 19
2.7.3 变量与函数 21
2.7.4 计算与赋值 21
2.8 资源包管理 22
2.8.1 资源包导入 22
2.8.2 资源包导出 23
2.9 构建设置 24
2.10 本章总结 25
第3章 3D数学与着色器基础 26
3.1 引言 26
3.2 3D数学坐标系 26
3.2.1 全局坐标系 26
3.2.2 局部坐标系 27
3.2.3 屏幕坐标系 27
3.2.4 视口坐标系 27
3.2.5 坐标系转换 27
3.3 向量 28
3.3.1 向量介绍 28
3.3.2 Vector类 29
3.4 着色器基础 29
3.4.1 认识表面着色器 30
3.4.2 表面着色器的应用示例 33
3.4.3 计算着色器 36
3.4.4 计算着色器灰度图的应用示例 39
3.4.5 计算着色器图片像素显示处理的应用示例 41
3.5 本章总结 44
第4章 多媒体音频技术 45
4.1 引言 45
4.2 音频介绍 45
4.2.1 音频设备 45
4.2.2 音频源组件 46
4.2.3 音频权限 48
4.3 音频多通道 49
4.3.1 多通道介绍 49
4.3.2 Unity多通道 49
4.4 音频采样 51
4.4.1 采样率与采样大小 51
4.4.2 Unity音频采样处理 51
4.5 音频数字化 52
4.5.1 数字音频 52
4.5.2 音频质量 53
4.5.3 Unity音频数字化 53
4.6 本章总结 56
第5章 多媒体视频技术 57
5.1 引言 57
5.2 视频设备与权限 57
5.2.1 视频设备 57
5.2.2 视频权限 58
5.3 图像捕捉与视频捕捉 59
5.3.1 图像捕捉 59
5.3.2 视频捕捉 61
5.4 图像数字化 64
5.4.1 图像及视频种类 64
5.4.2 Unity图像的数字化处理 65
5.5 图像和视频压缩技术 69
5.5.1 图像压缩 70
5.5.2 视频压缩 71
5.6 本章总结 72
第6章 Unity网络通信基础 73
6.1 引言 73
6.2 Unity通信API 73
6.2.1 通信API简介 73
6.2.2 简单的HTTP通信 73
6.3 TCP通信 75
6.3.1 TCP介绍 75
6.3.2 TCP通信原理 76
6.3.3 Unity中基于Socket的高性能TCP通信实现——服务器端 78
6.3.4 Unity中基于Socket的高性能TCP通信实现——客户端 102
6.4 UDP通信 117
6.4.1 UDP介绍 117
6.4.2 UDP通信原理 118
6.4.3 Unity中基于Socket的高性能UDP通信实现 119
6.5 本章总结 129
第7章 跨平台音视频通信核心 130
7.1 引言 130
7.2 音频处理 130
7.2.1 音频发送 130
7.2.2 音频接收 137
7.3 图像处理 142
7.3.1 图像发送 142
7.3.2 图像接收 146
7.4 本章总结 149
第8章 桌面平台音视频通信实现 150
8.1 引言 150
8.2 构建设置 150
8.2.1 开发平台 150
8.2.2 Player设置 152
8.3 项目建立 157
8.3.1 场景搭建 157
8.3.2 组件设置 158
8.3.3 测试发布 160
8.3.4 测试运行 160
8.4 本章总结 161
第9章 Android平台音视频通信实现 162
9.1 引言 162
9.2 构建设置 162
9.2.1 开发平台 162
9.2.2 Player 设置 164
9.3 项目建立 174
9.3.1 场景搭建与贴图压缩 174
9.3.2 组件设置 197
9.3.3 测试发布 197
9.3.4 测试运行 198
9.4 本章总结 198
第10章 XR平台音视频通信实现 199
10.1 引言 199
10.2 HoloLens介绍 199
10.2.1 硬件介绍 199
10.2.2 平台介绍 201
10.3 MRTK介绍 201
10.3.1 MRTK简介 201
10.3.2 MRTK应用 205
10.4 构建设置 209
10.4.1 开发平台 209
10.4.2 Player 设置 211
10.5 项目建立 217
10.5.1 场景搭建与贴图压缩 217
10.5.2 组件设置 242
10.5.3 测试发布 243
10.5.4 测试运行 247
10.6 本章总结 248

全部展开

读者评论

下载资源