Title:

一种基于多模态数据融合的在线学习状态检测方法

Institution:

国家数字化学习工程技术研究中心

Scope of Patent:

国内

First Author:

刘海

Disigner of the Invention:

林丹月,刘婷婷,张昭理,王镜淇,张诚,朱晓倩,宋林森

Note:

本申请公开了一种基于多模态数据融合的在线学习状态检测方法，该方法包括：获取待检测对象的面部图像及脑电信号；将面部图像信息及脑电信号输入训练好的多模态融合模型中，提取待检测对象当前的视线方向及脑电情绪状态；所述多模态融合模型包括第一网络模型和第二网络模型，第一网络模型为利用具有视线方向标签的多幅面部图像样本训练得到，第二网络模型为利用具有脑电情绪标签的多个脑电波样本训练得到；基于视线方向和脑电情绪状态生成待检测对象当前的学习状态数据。本发明实现视线信息与脑电信号的互补，实时检测学习者的在线学习状态，为下一步的学习指导提供客观支撑数据，有助于合理规划学习内容，提升学习效率，实现良性循环。

Application Number:

ZL202211596371.1

Service Invention or Not:

No

Application Date:

2022-12-12

Publication Date:

2022-12-12

Authorization Date:

2025-11-21

Date:

2026-06-30