如果能开发一个在线K歌应用,能跟好友一起线上合唱在家也能嗨皮。
如何快速实现合唱功能?即构科技提供了实时合唱一站式解决方案和技术实现流程。
目前行业内普遍采用的合唱方案为“串行合唱”。在“串行合唱”方案中,合唱各方串行加入,伴奏由主唱端混入。从本质上来说,这是一种“伪实时合唱”。
为了突破这两个限制,同时不影响副唱和听众端的体验,即构对方案架构进行了重构,克服了多个技术挑战,实现了合唱者之间的实时互动,也满足了三人及以上的合唱需求。
本文将分享如何基于ZEGO SDK轻松实现在线K歌房,适合想极速搭建在线 K 歌房的开发者。也适合想清晰听到王心凌歌声的男粉们。近期即构七周年庆全线产品1折起,有需要的开发者可点击详情了解:https://www.zego.im/activity/2100005
通过 ZEGO Express SDK,可极速搭建含 正版曲库 的在线 KTV 场景:
针对实时合唱的场景,ZEGO 提供了一站式解决方案,让开发者极速搭建能够真正进行“合唱”的在线 K 歌房。
各端在连麦的基础上同时播放歌曲伴奏,然后上麦进行合唱,双人模式下主唱和副唱可以互相听到对方声音,多人模式下合唱者之间都能听到彼此声音,几乎感受不到延迟,达到了真正意义上的实时合唱。
在媒体流方面,合唱者互相进行推拉流,同时会由一名合唱者推出歌曲伴奏,其他合唱者在本地播放伴奏,经过 NTP 进行时间同步。另外,歌曲伴奏和所有合唱者的声音都通过 ZEGO RTC 进行混流服务处理形成一条流,观众只需拉一条流即可听到各端同步的声音,完美实现多人合唱的效果。
该方案的优点在于:
搭建一个完整的在线 KTV 需要实时语音(RTC)、点歌(歌曲的获取与分享)、歌词展示等基础能力,并通过以上基础能力实现合唱、麦位管理、房间管理、歌词展示与同步等业务系统。
在线 KTV 整体方案包含房间管理、麦位管理、点歌系统、合唱同步管理、歌词同步管理 5 个业务模块,基本业务流程如下:
在线 K 歌房内的用户有多种角色,包括房主、合唱者、观众。
房主创建及离开 RTC 房间,均需由业务服务器创建房间获取对应的 roomID 和 userID 后,然后通过调用 Express 接口 loginRoom 登录房间和 logoutRoom 接口退出房间。
房主通过调用 Express 相关接口进行点歌、下载歌曲和歌词、播放歌曲和发送 SEI 信息等操作,中间则由业务服务器监听房间内歌曲、麦位的信息变更,并通知房间内所有成员。歌词下载完毕后,通过歌词 UI 组件进行逐行或者逐字歌词的展示。
合唱者
观众加入 RTC 房间上麦成为合唱者,通过获取由业务服务器创建房间对应的 roomID 和 userID 后,然后通过调用 Express 接口 loginRoom 登录房间。
合唱者通过调用 Express 相关接口下载歌曲和歌词、播放歌曲、接收和解析房主发送的 SEI 信息、同步伴奏/歌词等操作,中间则由业务服务器监听房间内歌曲、麦位的信息变更,并通知房间内所有成员。歌词下载完毕后,通过歌词 UI 组件进行逐行或者逐字歌词的展示。
观众
观众加入 RTC 房间,通过获取由业务服务器创建房间对应的 roomID 和 userID 后,然后通过调用 Express 接口 loginRoom 登录房间。
观众通过调用 Express 相关接口下载歌词、拉取混流、接收和解析房主发送的 SEI 信息等操作,中间则由业务服务器监听房间内歌曲、麦位的信息变更,并通知房间内所有成员。歌词下载完毕后,通过歌词 UI 组件进行逐行或者逐字歌词的展示。
3.2 重要业务模块
以下对房间管理、点歌(获取与分享歌曲)、合唱、歌词展示四个重要模块进行简单介绍。
房间管理
在线 KTV 中,一般不同的用户会在一个房间内进行 K 歌,并且还提供了一个当前的房间列表,这两部分共同构成了我们的房间管理系统,我们需搭配业务服务器和 Express SDK 来实现这个功能。
房主需在业务服务器创建房间获取对应的 roomID 和 userID 后,再创建 RTC 房间,然后通过调用 Express 接口 loginRoom 登录房间和 logoutRoom 接口退出房间。
API 调用时序可参考下图:
点歌系统是在线 KTV 中关键部分,使用 Express SDK 提供的点歌能力,通过获取正版曲库中的音乐资源,并分享给房间内的其他用户进行合唱。详情请参考 点歌(获取和分享歌曲)。
点歌操作可以在榜单列表或者歌曲搜索结果进行。所点的歌曲将会进入已点队列,按照点歌时间逐首依次播放。
点歌人使用 songID 请求歌曲资源会触发一次计费,房间内其余人使用 token 请求歌曲资源则不会触发计费。
API 调用时序可参考下图:
合唱
在线 KTV 房间中的用户在合唱的过程中,人声和伴奏都要保持多端同步。
流管理是多人实时合唱中非常重要的一部分。房主、合唱者、观众的推拉流策略需要互相配合以达到较好的合唱效果。
通过 Express SDK 的精准网络时间获取接口,以及麦上其他合唱者约定合唱的精确时间,来进行播放伴奏和合唱,达到各合唱者之间的高度同步。详情请参考 合唱同步实现流程。
API 调用时序可参考下图:
合唱
我们提供了开箱即用的歌词 UI 组件,开发者可与 Express SDK(含版权音乐功能)搭配使用,快速展示歌词效果。详情可参考 歌词展示与同步。
在开始集成 ZEGO Express SDK 前,请确保开发环境满足以下要求:
2.1 创建项目
进入即构官网,在【ZEGO控制台】创建项目,并申请有效的 AppID,这一步很关键,appid为应用的唯一标识,如身份证号,是应用的身份证明,用于明确你的项目及组织身份。zego提供的服务也是基于APP ID;
App ID的获取方式很简单,只需3~5分钟,在即构官网-我的项目-创建即可。创建的项目信息可用于SDK的集成和配置;
2.2 Token 鉴权
登录房间时必须 使用 Token 鉴权 ,可参考 Token 鉴权教程
为了方便开发阶段的调试,开发者可直接在 ZEGO 控制台获取临时 Token(有效期为 24 小时) 来使用,详情请参考 控制台(新版) - 项目管理 中的 “项目信息”。
3 集成 SDK
3.1 项目设置
开始集成前,可参考如下步骤设置你的项目;
如已有项目,本步骤可忽略。
如需新建项目,可按照以下步骤创建你的新项目:
1.打开 Android Studio,选择 “File > New > New Project” 菜单。
2.填写项目名及项目存储路径。
3.其它按照默认设置,单击 “Next”,最后单击 “Finish” 完成新工程创建。
3.2 导入 SDK
目前支持的平台架构包括:armeabi-v7a、arm64-v8a、x86、x86_64。
在实现基本的实时音视频功能之前,需确保获取的sdk为最新版本,保证音视频功能体验为最优;
进入项目根目录,打开 “build.gradle” 文件,在 “allprojects” 中加入如下代码。
...
allprojects {
repositories {
maven { url 'https://www.jitpack.io' }
google()
jcenter()
}
}
进入 “app” 目录,打开 “build.gradle” 文件,在 “dependencies” 中添加 implementation 'com.github.zegolibrary:express-video:2.+',这样能获取到最新的版本,如果需要下载指定版本,请从 https://jitpack.io/#zegolibrary/express-video 查询具体版本号,并将 2.+ 修改为指定的版本号。
...
dependencies {
...
implementation 'com.github.zegolibrary:express-video:2.+'
}
1. 从 **2.7.0** 版本开始,Zego 将使用 JitPack 代替 JCenter 作为 SDK 托管服务器,因此开发者需手动将 `build.gradle` 里的配置变更为 `'com.github.zegolibrary:express-video:2.+'`
2. JCenter **2021-03-31** 之后停止上传新版本 SDK,该服务将于 **2021-05-01 停用**,详情请参考 [Service End for JCenter](https://jfrog.com/blog/into-the-sunset-bintray-jcenter-gocenter-and-chartcenter/)。
3. 从 **1.11.0** 版本开始,依赖的命令从 `implementation 'im.zego:express-engine-video:x.y.z'` 改为 `implementation 'im.zego:express-video:x.y.z'`。使用 **1.11.0 以下** 的版本不受影响,但后续不再从 “express-engine-video” 里更新,建议所有使用旧版本的开发者切换到 **1.11.0 或以上** 的版本进行集成。
因为 Android 6.0 在一些比较重要的权限上要求必须申请动态权限,不能只通过 “AndroidMainfest.xml” 文件申请静态权限。因此还需要参考执行如下代码,其中 “requestPermissions” 是 “Activity” 的方法。
String[] permissionNeeded = {
"android.permission.CAMERA",
"android.permission.RECORD_AUDIO"};
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.M) {
if (ContextCompat.checkSelfPermission(this, "android.permission.CAMERA") != PackageManager.PERMISSION_GRANTED ||
ContextCompat.checkSelfPermission(this, "android.permission.RECORD_AUDIO") != PackageManager.PERMISSION_GRANTED) {
requestPermissions(permissionNeeded, 101);
}
}
具体的权限说明如下:
其中非必要权限 “android.permission.READ_PHONE_STATE” 仅用于实现 SDK 的打断事件处理,因此只需在 AndroidMainfest.xml 文件中进行声明即可,不需要动态申请(业务方有需求则另外处理)。
在 “proguard-rules.pro” 文件中,为 SDK 添加 -keep 类的配置,防止混淆 SDK 公共类名称。
1
-keep class **.zego.**{*;}
与王心凌合唱在线K歌房实现了!!!
恭喜,王心凌在线K歌房实时合唱功能已完成,可下载甜心教主的热门歌曲:《爱你》《睫毛弯弯》,或者翻唱的《山海》。实现追星自由,也可与好友一起多人实时合唱畅享线上K歌体验。
获取更多文档、Demo、技术帮助
获取 SDK 开发文档、demo,可访问即构文档中心。
获取更多商务活动热门产品,可提交信息联系商务。
注册即构ZEGO开发者帐号,快速开始。