文档中心
AI 互动课堂
Console 官网 社区 技术支持
简体中文
search-icon

AI 互动课堂

更新时间 2023/02/24 07:06:04

AI 互动课堂，是指通过服务端真人教学视频结合 AI 技术进行线上直播互动教学的场景。

AI 互动课堂的整体过程如下：

  • 上课前：
    • 根据教师的课程设置，将知识点讲解、互动提问、问题反馈和解答等信息录制成视频片段，准备好视频库。
    • 部署服务端推送媒体文件服务。
  • 课堂上：
    • 服务端向学生推送并呈现多媒体教学内容，形式包括录播视频、音效和视觉元素。
    • 学生通过语音、触屏实现互动式学习。
    • 服务端通过 AI 技术，智能识别学生的实时语音和作答，并根据学生的表现，无缝切换教学片段，实时给予不同的反馈，从而提供个性化的教学体验。

功能列表

功能 描述
推送媒体文件 服务端能够向声网频道内推送 MP4 文件：
  • 支持播放队列，实现上课过程中视频片段的有序切换。
  • 支持千人千面，根据学生的作答推送不同的视频片段。
    		•
    实时音视频 学生端能够在声网频道内发送和接收实时音视频数据。
    实时消息 学生端能够在声网频道内发送和接收实时消息。
    声音降噪与增益 提供降噪工具，有效抑制背景噪声，并对声音进行增益。
    视频补帧 提供 AI 补帧工具， 实现课程视频片段之间的无缝平滑切换。
    口语测评 支持 AI 口语测评功能，提供多维度的语音评测结果，并基于评测结果给予学生反馈。
    情绪识别 支持 AI 情绪识别功能，通过检测面部判断学生的开心、平静、惊讶等情绪，生成课堂情绪报告。

    技术方案

    技术架构图

    学生端：

    • 集成声网 RTC SDK 和声网 RTM SDK，通过声网自建的底层实时传输网络声网 SD-RTN™ 发送和接收实时音视频和实时消息，进行实时互动。
    • 将实时音频流发送至第三方平台进行语音识别和口语评测。
    • 将实时视频流发送至第三方 AI SDK 进行情绪识别。

    服务端 AI 教师：

    • 从声网 SD-RTN™ 获取作答信息，与题库比对判断对错。
    • 根据比对结果从视频库中获取对应的视频片段，通过声网 Media Streaming Sever SDK 将视频片段推送给学生端。

    方案优势

    1. 高速稳定的实时数据传输

    依托于声网实时音视频专用网络声网 SD-RTN™，全球部署节点，覆盖 200 多个国家和地区，并针对北美、菲律宾、印度等区域 lastmile 覆盖做了重点优化，确保服务高并发、高可用、高稳定和超低延迟。

    2. 优秀的弱网对抗能力

    声网通过智能调节码率和帧率、优化端到端全链路算法、运用抖动缓冲机制，确保 70% 丢包情况下，音视频通话流畅，80% 丢包情况下，音频通话流畅。

    3. AI 补帧增强

    针对视频片段切换时会出现的跳帧问题，声网提供 AI 补帧工具，支持离线对两个不连续的视频片段进行插帧，实现平滑的视频播放效果。

    4. 卓越音质

    针对室内录播场景中常见的噪声、背景音等音质问题，声网通过自研的 AI 音频降噪算法，提供降噪工具，有效消除背景噪声，并对声音进行增益。

    5. AI 情绪识别

    声网支持将学生的实时视频流发送到第三方平台，进行人脸检测和情绪识别，判断学生的课堂专注度和开心值。

    6. 优秀的设备兼容性

    适配 6000+ 机型，针对中低端机型适配，进行性能优化，中低端机型也能流畅进行高清音视频互动。

    7. 课中课后质量保障

    提供水晶球工具，追踪每节课的质量，保证教学中一切质量问题透明可查。