文档中心





即时通讯 (环信)

Console 官网社区技术支持





内容审核概述

更新时间 2023/05/08 09:46:37

使用即时通讯 IM 服务时，你可以使用 IM 内容审核服务对消息内容进行多样化场景检测，帮助您对应用消息内容进行管控，规避内容违规风险。

可以使用以下消息管理工具：
- 消息举报。
- 消息审核，包括文本、图像和音视频审核。
消息审核可针对全局应用进行或应用于单聊或指定的群组或聊天室。

前提条件

完成 SDK 初始化，详见 Android、iOS、Web 或小程序的快速开始。
开通即时通讯 IM 服务的进阶版或企业版。

开通审核服务

登录声网控制台，在项目管理页面，选择需要开通即时通讯服务的项目，点击配置。
在服务配置页面，点击即时通讯中的配置链接。
在功能配置 > 总览页面的 内容审核功能配置 区域开启特定审核选项。

消息管理

即时通讯 IM 提供多种消息审核和过滤的能力：

功能	描述
消息举报	终端用户可调用消息举报 API 对不当消息进行举报。审核人员可在声网控制台查看举报记录，并对消息和消息发送者进行处理。
文本审核和图片审核	文本审核和图片审核基于第三方机器学习模型，自动审核文本和图片消息，并阻断可疑内容。
名单过滤	名单过滤服务根据你配置的敏感词词库对消息内容进行过滤。
域名过滤	域名过滤服务根据你配置的域名对消息内容进行检测和过滤。

消息举报

如需使用消息举报功能，你需要在客户端集成相应 API。有关详细信息，请参阅以下文档：

用户举报应用的消息后，审核人员可以在声网控制台查看和处理消息举报记录：

登录声网控制台，在项目管理页面，选择需要开通即时通讯服务的项目，点击配置。
在服务配置页面，点击即时通讯中的配置链接。
在即时通讯 IM 的左侧导航栏中选择 消息举报 > 历史记录，进入消息举报记录页面。

在消息举报页面，审核人员可以按时间段、会话类型或处理方式过滤消息举报记录，也可以按用户 ID、群组 ID 或聊天室 ID 查询特定举报记录。对于举报的消息，即时通讯 IM 支持两种处理方式，即撤回消息或请求发送者处理消息。

消息内容审核 - 文本和图片审核

概述

文本和图片审核是即时通讯 IM 提供的基于机器学习模型的审核服务，可以扫描用户消息中的违规文本和图片内容，并对违规内容进行标记，进行审核。即时通讯 IM 的文本和图片审核由 Microsoft Azure Moderator 提供支持。该模型将不当消息标记为以下三个类别：

成人：在某些情况下，内容可能被视为色情内容和成人内容。
成熟：某些情况下，内容被视为性暗示或过于成熟。
冒犯的：内容可能被视为攻击或辱骂。

你可以配置审核规则，对在一段时间内达到指定的违规次数的用户进行处罚：

App 级别和单聊的处罚措施：
- 封禁用户：用户若被封禁将立即下线并无法登录即时通讯 IM，直到被解禁后才能恢复登录。例如，若某一用户在 1 分钟内发送违规内容达到 5 次，对该用户进行封禁。
- 强制用户下线：强制用户下线即将用户状态修改为离线，用户需要重新登录才能正常使用。
- 删除用户：移除违规的用户。如果违规用户为群主或者聊天室所有者，系统会同时删除对应的群组和聊天室。
群组和聊天室的处罚措施：
- 加入黑名单：若被加入群组或聊天室的黑名单，用户则无法查看或接收该群组或聊天室的消息。
- 踢出：用户被踢出群组或聊天室。被移除群组后，用户同时会被移除在该群组中加入的子区。
- 禁言：用户被禁言后，将无法在群组或聊天室中发送消息。若用户在群组中禁言，也无法在该群组下的子区中发送消息。

你可以在声网控制台测试不同的文本字符串和图像，从而了解审核的工作原理并确定哪些审核设置适合你的需求。

创建审核规则

下文以单聊文本为例介绍如何添加审核规则：

在即时通讯 IM 的左侧导航栏中选择文本审核 > 规则配置，进入文本审核规则配置页面。

单击添加规则创建文本审核规则：

下表为规则中的字段描述：

字段	描述
规则名称	审核规则的名称，为审核规则的唯一标识，不能超过 32 个字符。
会话类型	会话类型指审核规则生效的范围，包括：单聊会话以及单个、多个或所有群聊和聊天室会话；例如，选择单聊，表示依据该规则对应用下单聊的所有文本消息进行审核和处置。
启用规则	是否启用审核规则。启用后规则生效，关闭则规则不生效。
消息处理	审核结果为拒绝时，消息处理策略包括`拦截`、`替换为 ***`和`通过`；审核结果为疑似时，消息处理策略包括`拦截`和`通过`；审核服务调用失败时，消息处理策略包括`拦截`和`通过`；消息拦截后客户端是否报错：`是`为报错；`否`为不报错。
审核模型	内容审核支持多场景模型，可按需选择。文本审核仅有 1 个通用违规内容审核模型，包含以下策略：涉政&违禁&暴恐&色情&辱骂&广告&灌水&无意义。
用户处理策略	默认不处理。开启后，可以设置时间间隔、触发次数和用户处理策略，触发该规则后将对用户进行自动处理。例如，时间间隔设置为 3 分钟，触发次数设置为 3，用户管理设置为删除，表示若用户在 3 分钟内发送的消息触发了这条审核规则 3 次会被自动移除。用户处理策略详情，请参见用户管理。

设置消息处理策略具体如下：

审核结果	描述	消息处理
通过	表示未发现违规内容。无需进行消息处理设置。	下发消息。
拒绝	表示发现违规内容，建议直接拦截。	拒绝发送消息。可设置是否下发消息：（默认）通过：下发消息。当测试阶段需要验证审核模型是否符合业务预期而无需对消息产生影响，可采取该设置。拦截：拦截消息。若审核模型确认满足业务需求，需对线上消息生效，则采用该设置。 `替换为*`：将敏感词替换为 `*` 后再下发消息。
疑似	表示可能存在违规内容，建议人工审核。	可设置是否下发消息：通过：下发消息。（默认）拦截：拦截消息。
调用失败	表示审核服务调用失败。审核服务没有在一定时间内返回审核结果，即认为调用失败，例如，文本审核接口超时时间为 200 毫秒，若该时间内未返回审核结果，则视为异常（通常认定为异常会有 3 种原因：1. 没有调用权限；2. 返回时间超时；3.服务出现异常）。	可设置是否下发消息：通过：下发消息。（默认）拦截：拦截消息。

针对以上 4 种审核结果，若消息处理结果为拦截，客户端会返回错误码：508，应用可根据错误码展示提示信息。

消息拦截后客户端是否报错：表示消息被拦截后，发送方是否要感知到消息发送失败

是：（报错）服务在消息内容前面显示红色感叹号，提示发送方消息发送失败；
（默认）否（不报错）：服务不提示消息发送失败。

创建规则后，可以在规则列表中编辑或删除规则：

文本或图片审核规则测试

下文以文本审核为例介绍如何进行审核规则测试：

在即时通讯 IM 的左侧导航栏中选择文本审核 > 规则测试，进入文本审核规则测试页面。

2.选择审核规则，填写要审核的内容，点击 立即审核 进行规则测试，审核结果和消息处理结果会显示在页面下方。

查看审核历史记录

你可以在声网控制台查看文本、图片和音视频审核的记录。下文以文本审核为例进行介绍。

在即时通讯 IM 的左侧导航栏中选择文本审核 > 历史记录，进入文本审核历史记录页面。审核历史记录支持按照时间段、会话类型、风险类型、消息处置结果进行筛选。你也可以指定发送方或接收方的用户 ID 查询审核历史记录。

用户管理

发现违规行为后，对于违规用户可以进行多种限制操作，包括 app 级别和单聊的用户管理、群组成员管理和聊天室成员管理。

分类	功能	描述
App 级别和单聊的用户管理	用户封禁	禁用一个用户账户。禁用后，该用户会立即下线，且无法登录直到解除封禁。
	强制下线	强制用户下线，进入离线状态。被强制下线的用户需要重新登录才能正常使用即时通讯 IM 服务。
	删除用户	该用户账号信息将被删除。如果被删除的用户是群组或者聊天室的所有者，该用户所管理的群组和聊天室也会相应被删除。
群组成员管理	群组用户禁言	群组禁言是指禁止指定群组用户在群组中发送消息。被禁言用户直到禁言状态被解除，才能发送消息。
	群组全局禁言	全局禁言是指禁止群组全部用户在群组中发送消息。被禁言的群组直到禁言状态被解除，群中成员才能发送消息。
	群组黑名单	被加入到群组黑名单的用户将被移出群，并且不能再次加入。
	删除群成员	删除群成员是指把用户从群成员列表中删除，被删除的用户需要重新加入群才能收到群消息。
聊天室成员管理	聊天室成员禁言	聊天室禁言是指禁止指定成员在聊天室中发送消息。被禁言用户直到禁言状态被解除，才能发送消息
	聊天室全局禁言	全局禁言是指禁止聊天室全部用户在聊天室中发送消息。被禁言的聊天室直到禁言状态被解除，聊天室中成员才能发送消息。
	聊天室黑名单	被加入到聊天室黑名单列表的用户将被移出聊天室，并且不能再次加入。
	删除聊天室成员	删除聊天室成员是指把用户从聊天室成员列表中删除，被删除的用户需要重新加入聊天室才能收到聊天室消息。