电脑端

前置条件：windows10 以上操作系统,同时需要先安装 ffmpeg 视频处理工具,安装较为简单,教程可参考网络教程。

请检查网络条件,需要关闭 VPN 才能使用。

1. 注册/登录

1.1 注册

AiWatchDog 注册成功后,方可使用相关功能。

（1）首先阅读隐私政策与用户使用协议,同意相关内容后点击【我已阅读并同意】来到注册页面。

（2）首先阅读隐私政策与用户使用说明,同意相关内容后点击【我已阅读并同意】来到注册页面。点击【立即注册】,输入用户名和密码,同时需要绑定手机号码,并获取验证码进行验证。

图 2 注册登录页面

（3）注册成功后返回登录页面,输入用户名和密码进行登录。注意登录状态 60 日失效,若换电脑/浏览器或退出登录后,再次使用网页版/客户端的时候,需要重新输入密码,即可登录。

（4）如果忘记密码可以点击【忘记密码】按钮通过绑定的手机号进行找回。

图 3 注册页面

2. 公告栏介绍

系统公告栏目用于通知用户 bug 修改信息、注意事项等内容

版本更新栏目用于通知用户最新版本是否更新,并附【下载更新】按钮,点击后可以跳转下载链接,用户需要卸载老版本后,安装新版本。

3. 视频分析系统页面

AiWatchDog 应用软件的首页为【视频分析系统】,该页面为核心功能操作、导航和展示区域。可以通过点击对应的按钮查看对应的功能。

3.1 分析大屏

【分析大屏】位于【视频分析系统】右侧功能按钮中,首先检查后台连接状态、确认状态为【已连接】后方可继续操作,否则需要进行重启等操作。待分析的视频流或者摄像头将被在这个区域进行展示,同时预警的消息也会在这个区域进行播放。

3.1.1 视频展示区域

单个视频展示区域中包含多个按钮,包括【开始分析】、【停止分析】、【编辑】、【设置定时】、【取消定时】、【放大】、【消息预警侧边栏】。同时如果出现预警消息,视频框的上部分还会滚动的出现预警的内容。

点击编辑快捷编辑键后,右侧会跳出可以快速编辑的内容。

中间的模型使用信息表可以快捷查看费用和 token 消耗情况,点击详情可以查看更多内容。

点击【开始分析】后,后台将开始使用 AI 大模型进行分析,如果发现预警将会推送到该页面,同时也能在预警记录中查看到历史预警消息。

点击显示后台日志,可以看到大模型的提示词和分析记录。

3.2 预警记录

点击【预警记录】按钮,可以看到历史的预警播报片段和文字内容。同时可以通过时间范围进行筛选。

3.3 摄像头/视频管理

摄像头/视频管理页面包含多个功能按钮,如果想要添加新的视频或者摄像头进行分析请按以下步骤进行操作,

3.3.1 添加分组

首先点击【添加分组】按钮,然后输入分组的 ID 和分组的名称,分组 id 最好使用英文或者数字。然后输入完毕后点击【确定添加】

有了分组之后,点击【添加摄像头】同时也可以是添加本地视频。

3.3.2 添加摄像头或者视频

1. 基础信息配置在这里我们将需要分析的摄像头或者视频流的信息进行详细的设置。

【基础信息】,依次需要填写的内容为。
【设备 ID】,如 cam-001,video-001,代表此次分析的设备 ID 号。
【视频源】,即摄像头的 rtsp 源地址或者视频的绝对地址,如:
rtsp://lxnchan:lxnchan1234@127.0.0.1:8554/stream1

E:\desktops\test.mp4

注:如果添加的视频播放黑屏,则需要将视频在命令行(cmd)中使用 ffmpeg 进行转换:

ffmpeg -i "E:\desktops\test.mp4" -c:v libx264 -c:a aac -f mp4 -y "E:\desktops\test.mp4"

视频播放黑屏不会影响分析,如果不需要在页面上观看视频,可以忽略。

【所属分组】,选择摄像头或者视频处于哪个分组下面,如"监控区域 1"
【摄像头名称】,填写摄像头或者视频名称方便识别,如大门监控

2.其次我们需要填写 AI 模型的分析参数,包括 AI 视觉模型的访问地址和密钥、模型参数等:

3. 自定义服务配置

首先如果采用自定义服务,首先我们选择自定义好的 AI 服务名称,如果尚未定义 AI 服务名称,请到 AI 模型设置栏中进行填写,填写的内容如下:

需要自定义【服务名称】、同时需要填写用户自己购买的支持视觉模型的 api 和密钥,可以在阿里云百炼平台购买,或者在硅基流动等大模型 api 服务平台进行购买,本应用不会搜集用户的密钥信息,而是保存在本地系统。

3. 最后我们需要填写视频分析配置。

下面是各个配置的说明,以一段40秒的视频为例。

（1）分析间隔

代表每隔多久分析一次,分析间隔为 5,代表每隔 5 秒进行一次分析,40 秒的视频会约触发 7-8 次左右的分析次数。如果是实时摄像头,同样是每隔 5 秒进行一次分析,推荐根据需要检测的行为事件的频率高低来设置。不建议将分析间隔设置过短(小于 5 秒),这样会消耗过多的大模型 token 额度,同时会导致大模型无法在设置的时间内实时返回结果,会造成消息堵塞。大模型分析视频本身具有较高的延迟。

（2）缓冲时长

大模型实际需要分析的视频片段的时长,例如缓冲时长设置为 7,分析间隔设置为 5,那么每隔 5 秒钟,大模型将从历史的视频片段里截取 7 秒的视频进行分析。

备注:为什么不建议将缓冲时长设置为分析间隔?

如果将缓冲时长设置为视频间隔时长,可能会导致大模型无法完整分析一个行为。例如大模型检测人员从高处坠落,如果坠落视频为 10 秒,坠落行为 4-8 秒,模型会有两次分析间隔,第一次为第 5 秒,第二次为第 10 秒,如果缓冲时长设置为 5 秒,第一次分析和第二次分析都无法完全覆盖坠落行为视频,从而导致模型分析信息不全出现误报漏报。如果缓冲时长大于 5 秒,设置为 7 秒或者 10 秒,将大概率覆盖到完整的坠落行为。

（3）采样帧率

每秒捕捉多少帧图像作为大模型分析视频的帧数。视频分析的总帧率为采样帧率 x 缓冲时长秒数。视频物体运动速度越快,这个值需要设置越大。同时该值,不易设置过大,不能超过 fps 值。普通检测行为动作,如果最短在几秒内完成的建议设置为 0.5-2 之间,不易太大,浪费模型分析资源。如果是检测速度极快的动作,比如飞行的网球轨迹,那么该值可以设置大一点。

（4）静默时间

如果视频长时间静止,处于一个画面,后台算法将停止分析,但当停止分析的时间每达到一个静默时间段,就会重新触发一次。

（5）最小静态检测区域值

如果要检测很微小的变化,这个值设置得越小越好,比如屏幕中的日期数字变化,可设置为 10

（6）视频描述提示词

这个是最重要的视频分析参数,根据不同任务需要仔细填写指导 AI 模型如何分析视频,同时如何发出预警。下面是一个模板案例,请阅读模板后,修改"是否存在以下情况"的内容部分以适配用户自己的业务场景,如家庭老人监控,可以修改为"1.老人是否摔倒。"。输出格式要求中的内容"无上述情况"不能修改。

指令要求:
请根据提供的视频内容,判断当前视频是否存在以下情况:
1. 人员安全事故等。
2. xxx

背景信息:
- 视频内容可能涉及多种场景,包括但不限于工业生产、户外活动、室内环境等。
- 需要特别关注与安全相关的异常行为或事件,如人员受伤、设备故障导致的危险等。

输出指示器
- **明确性高**:输出格式清晰,便于快速识别和处理。
- **强调数据驱动**:基于视频内容中的具体信息进行判断,而非主观臆断。
- **简洁明了**:输出内容简短,避免冗长描述。

输出格式要求:
如果没有明显上述情况,则直接输出:
无上述状况。

如果存在上述异常行为,则输出:
请注意,出现了 xx 的情况,需要即时处理或知晓。（xx 为具体的异常情况,需简洁描述）

#### 示例
假设视频内容显示一名工人在操作机器时被夹伤:
请注意,出现了人员受伤的情况,需要即时处理或知晓。

假设视频内容正常,未发现任何异常:
无上述状况。