一种智能录制布局切换的方法和装置发明专利

专利名称：一种智能录制布局切换的方法和装置

专利类型：发明专利

专利申请号：CN202111189180.9

专利申请（专利权）人：上海赛连信息科技有限公司
权利人地址：上海市浦东新区富特北路207号三层C06室

专利发明（设计）人：赵飞,赵兴国

专利摘要：本发明的实施方式提供了一种智能录制布局切换的方法，所述方法包括：获取第一屏幕录制画面和第二屏幕录制画面；基于所述第一屏幕录制画面进行行为分析生成行为分析结果；基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果；基于所述智能分析结果和所述行为分析结果智能切换录制布局。使得在录制的过程中可以基于智能分析结果和行为分析结果自动切换录制布局，提升了产品易用性和用户体验。此外，本发明的实施方式提供了一种智能录制布局切换的装置。

主权利要求：
1.一种智能录制布局切换的方法，其特征在于，所述方法包括：获取第一屏幕录制画面和第二屏幕录制画面，所述第一屏幕录制画面为包含教师和板书画面的录制画面，所述第二屏幕录制画面为包含主讲内容的录制画面；
基于所述第一屏幕录制画面进行行为分析生成行为分析结果；
基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果；
基于所述智能分析结果和所述行为分析结果智能切换录制布局；
所述基于所述第一屏幕录制画面进行行为分析生成行为分析结果包括：基于所述第一屏幕录制画面中教师的肢体行为进行行为分析；
基于行为分析确定所述教师是否发生板书行为进而生成行为分析结果；
所述基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果包括：基于所述第二屏幕录制画面中是否包含主讲内容以及主讲内容是否发生变化来切换不同的录制布局;所述获取第一屏幕录制画面和第二屏幕录制画面之前还包括：获取第三屏幕录制画面；
基于所述第三屏幕录制画面进行状态分析生成状态分析结果；
基于所述状态分析结果、行为分析结果以及智能分析结果切换录制布局;所述第三屏幕录制画面为包含学生内容的录制画面;所述基于所述第三屏幕录制画面进行状态分析生成状态分析结果包括：基于状态收集器对所述第三屏幕录制画面进行状态分析确定所述学生是否与教师进行互动以生成状态分析结果。
2.根据权利要求1述的智能录制布局切换的方法，其特征在于，所述基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果包括：当所述第二屏幕录制画面中包含主讲内容且行为分析结果为是时，对所述第二屏幕录制画面进行智能分析得到第一智能分析结果；
当所述第二屏幕录制画面中包含主讲内容且行为分析结果为否时，对所述第二屏幕录制画面进行智能分析得到第二智能分析结果；
基于所述第二智能分析结果对所述第二屏幕录制画面进行智能分析得到第三智能分析结果。
3.根据权利要求2所述的智能录制布局切换的方法，其特征在于，所述第一智能分析结果为所述第二屏幕录制画面是否包含第一区域；
所述第二智能分析结果为所述第二屏幕录制画面是否发生变化；
所述第三智能分析结果为所述第二屏幕录制画面是否包含第二区域。
4.根据权利要求3所述的智能录制布局切换的方法，其特征在于，所述第一区域为所述第二屏幕录制画面右下角可容纳小窗口的空白区域；
所述第二区域为所述第二屏幕录制画面右上角可容纳小窗口的空白区域。
5.根据权利要求2所述的智能录制布局切换的方法，其特征在于，所述基于所述智能分析结果和所述行为分析结果智能切换录制布局包括：当所述第二屏幕录制画面中不包含主讲内容时，录制布局切换至第一画面布局；
当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果以及第一智能分析结果均为是时，录制布局切换至第一画面布局；
当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果为是以及第一智能分析结果为否时，录制布局切换至第四画面布局；
当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果为否以及第二智能分析结果和第三智能分析结果均为是时，录制布局切换至第三画面布局；
当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果和第三智能分析结果均为否以及第二智能分析结果为是时，录制布局切换至第二画面布局。
6.根据权利要求5所述的智能录制布局切换的方法，其特征在于，所述第一画面布局为全屏录制教师画面；
所述第二画面布局为全屏录制主讲内容画面；
所述第三画面布局为大屏幕录制主讲内容画面，在右上角空白区域小屏幕录制教师画面；
所述第四画面布局为大屏幕录制教师画面，在右下角空白区域小屏幕录制主讲内容画面。
7.根据权利要求1所述的智能录制布局切换的方法，其特征在于，所述基于所述状态分析结果、行为分析结果以及智能分析结果切换录制布局包括：当所述状态分析结果为否时，结合所述行为分析结果以及智能分析结果切换录制布局；
当所述状态分析结果为是时，确定所述第二屏幕录制画面中是否包含主讲内容；
当所述第二屏幕录制画面中包含主讲内容时，录制布局切换至第六画面布局；
当所述第二屏幕录制画面中不包含主讲内容时，录制布局切换至第五画面布局。
8.根据权利要求7所述的智能录制布局切换的方法，其特征在于，所述第六画面布局为大屏幕录制学生画面，小屏幕并列录制教师画面和主讲内容画面；
所述第五画面布局为全屏录制学生画面。
9.一种智能录制布局切换的装置，其特征在于，所述装置包括：获取模块，用于获取第一屏幕录制画面和第二屏幕录制画面，所述第一屏幕录制画面为包含教师和板书画面的录制画面，所述第二屏幕录制画面为包含主讲内容的录制画面；
行为分析模块，用于基于所述第一屏幕录制画面进行行为分析生成行为分析结果；
智能分析模块，用于基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果；
切换模块，用于基于所述智能分析结果和所述行为分析结果智能切换录制布局；
所述行为分析模块包括：
用于基于所述第一屏幕录制画面中教师的肢体行为进行行为分析的模块；
用于基于行为分析确定所述教师是否发生板书行为进而生成行为分析结果的模块;所述智能分析模块包括：
用于基于所述第二屏幕录制画面中是否包含主讲内容以及主讲内容是否发生变化来切换不同的录制布局的模块；
所述获取模块之前还包括：
用于获取第三屏幕录制画面的模块；
用于基于所述第三屏幕录制画面进行状态分析生成状态分析结果的模块；
用于基于所述状态分析结果、行为分析结果以及智能分析结果切换录制布局的模块；
所述第三屏幕录制画面为包含学生内容的录制画面；
所述用于基于所述第三屏幕录制画面进行状态分析生成状态分析结果的模块包括：用于基于状态收集器对所述第三屏幕录制画面进行状态分析确定所述学生是否与教师进行互动以生成状态分析结果的模块。
10.根据权利要求9所述的智能录制布局切换的装置，其特征在于，所述智能分析模块包括：用于当所述第二屏幕录制画面中包含主讲内容且行为分析结果为是时，对所述第二屏幕录制画面进行智能分析得到第一智能分析结果的模块；
用于当所述第二屏幕录制画面中包含主讲内容且行为分析结果为否时，对所述第二屏幕录制画面进行智能分析得到第二智能分析结果的模块；
用于基于所述第二智能分析结果对所述第二屏幕录制画面进行智能分析得到第三智能分析结果的模块。
11.根据权利要求10所述的智能录制布局切换的装置，其特征在于，所述第一智能分析结果为所述第二屏幕录制画面是否包含第一区域；
所述第二智能分析结果为所述第二屏幕录制画面是否发生变化；
所述第三智能分析结果为所述第二屏幕录制画面是否包含第二区域。
12.根据权利要求11所述的智能录制布局切换的装置，其特征在于，所述第一区域为所述第二屏幕录制画面右下角可容纳小窗口的空白区域；
所述第二区域为所述第二屏幕录制画面右上角可容纳小窗口的空白区域。
13.根据权利要求10所述的智能录制布局切换的装置，其特征在于，所述切换模块包括：用于当所述第二屏幕录制画面中不包含主讲内容时，录制布局切换至第一画面布局的模块；
用于当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果以及第一智能分析结果均为是时，录制布局切换至第一画面布局的模块；
用于当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果为是以及第一智能分析结果为否时，录制布局切换至第四画面布局的模块；
用于当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果为否以及第二智能分析结果和第三智能分析结果均为是时，录制布局切换至第三画面布局的模块；
用于当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果和第三智能分析结果均为否以及第二智能分析结果为是时，录制布局切换至第二画面布局的模块。
14.根据权利要求13所述的智能录制布局切换的装置，其特征在于，所述第一画面布局为全屏录制教师画面；
所述第二画面布局为全屏录制主讲内容画面；
所述第三画面布局为大屏幕录制主讲内容画面，在右上角空白区域小屏幕录制教师画面；
所述第四画面布局为大屏幕录制教师画面，在右下角空白区域小屏幕录制主讲内容画面。
15.根据权利要求9所述的智能录制布局切换的装置，其特征在于，所述用于基于所述状态分析结果、行为分析结果以及智能分析结果切换录制布局的模块包括：用于当所述状态分析结果为否时，结合所述行为分析结果以及智能分析结果切换录制布局的模块；
用于当所述状态分析结果为是时，确定所述第二屏幕录制画面中是否包含主讲内容的模块；
用于当所述第二屏幕录制画面中包含主讲内容时，录制布局切换至第六画面布局的模块；
用于当所述第二屏幕录制画面中不包含主讲内容时，录制布局切换至第五画面布局的模块。
16.根据权利要求15所述的智能录制布局切换的装置，其特征在于，所述第六画面布局为大屏幕录制学生画面，小屏幕并列录制教师画面和主讲内容画面；
所述第五画面布局为全屏录制学生画面。 说明书 : 一种智能录制布局切换的方法和装置技术领域[0001] 本发明的实施方式涉及视频通信技术领域，更具体地，本发明的实施方式涉及一种智能录制布局切换的方法和装置。背景技术[0002] 本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。[0003] 在教育信息化2.0的推进过程中，为提高边远地区的教学质量，国家部署了大量的远程互动课堂教室。为了课后让更多师生能够观摩学习，优秀老师的上课过程需要进行录制。最大程度的还原现场上课效果，是整个系统的重要需求。[0004] 由于上课过程中，老师既会分享PPT课件内容，也会进行板书，或与本地、远端学生进行互动。录制布局何时展示课件大画面、何时展示老师板书或学生画面，如何进行布局，是需要重点考虑的内容。目前为了保证录制效果，大部分课程需要安排专门老师进行手动导播、调整画面布局。这样由于需要教师的手动操作，可能会出现不能够及时的对画面进行切换的现象，也会使得教师不能够专心的教书。[0005] 本发明设计了一种智能录制布局切换的方法和装置，使得观看端看到的画面在无需人工干预的情况下实现自动切换，即能实现清晰的了解分享的内容，又能通过大画面领略主讲人的讲解过程，达到极佳的观看体验。发明内容[0006] 本发明的目的在于设计一种智能录制布局切换的方法和装置，使得观看端看到的画面在无需人工干预的情况下实现自动切换，即能实现清晰的了解分享的内容，又能通过大画面领略主讲人的讲解过程。出于目前存在的由于需要教师的手动操作，可能会出现不能够及时的对画面进行切换的现象，也会使得教师不能够专心的教书的缺陷，因此非常需要一种改进的智能录制布局切换的的方法，以解决上述存在的问题。[0007] 在本上下文中，本发明的实施方式期望提供一种智能录制布局切换的方法和装置。[0008] 在本发明实施方式的第一方面中，提供了一种智能录制布局切换的方法，其特征在于，所述方法包括：获取第一屏幕录制画面和第二屏幕录制画面；基于所述第一屏幕录制画面进行行为分析生成行为分析结果；基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果；基于所述智能分析结果和所述行为分析结果智能切换录制布局。[0009] 在本发明的一个实施例中，所述第一屏幕录制画面为包含教师和板书画面的录制画面；所述第二屏幕录制画面为包含主讲内容的录制画面。[0010] 在本发明的另一个实施例中，所述基于所述第一屏幕录制画面进行行为分析生成行为分析结果包括：基于所述教师画面中教师的肢体行为进行行为分析；基于行为分析确定所述教师是否发生板书行为进而生成行为分析结果。[0011] 在本发明的又一个实施例中，所述基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果之前包括：确定所述第二屏幕录制画面中是否包含主讲内容。[0012] 在本发明的再一个实施例中，所述基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果包括：当所述第二屏幕录制画面中包含主讲内容且行为分析结果为是时，对所述第二屏幕录制画面进行智能分析得到第一智能分析结果；当所述第二屏幕录制画面中包含主讲内容且行为分析结果为否时，对所述第二屏幕录制画面进行智能分析得到第二智能分析结果；基于所述第二智能分析结果对所述第二屏幕录制画面进行智能分析得到第三智能分析结果。[0013] 在本发明的再一个实施例中，所述第一智能分析结果为所述第二屏幕录制画面是否包含第一区域；所述第二智能分析结果为所述第二屏幕录制画面是否发生变化；所述第三智能分析结果为所述第二屏幕录制画面是否包含第二区域。[0014] 在本发明的再一个实施例中，所述第一区域为所述第二屏幕录制画面右下角可容纳小窗口的空白区域；所述第二区域为所述第二屏幕录制画面右上角可容纳小窗口的空白区域。[0015] 在本发明的再一个实施例中，所述基于所述智能分析结果和所述行为分析结果智能切换录制布局包括：当所述第二屏幕录制画面中不包含主讲内容时，录制布局切换至第一画面布局；当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果以及第一智能分析结果均为是时，录制布局切换至第一画面布局；当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果为是以及第一智能分析结果为否时，录制布局切换至第四画面布局；当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果为否以及第二智能分析结果和第三智能分析结果均为是时，录制布局切换至第三画面布局；当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果和第三智能分析结果均为否以及第二智能分析结果为是时，录制布局切换至第二画面布局。[0016] 在本发明的再一个实施例中，所述第一画面布局为全屏录制教师画面；[0017] 所述第二画面布局为全屏录制主讲内容画面；所述第三画面布局为大屏幕录制主讲内容画面，在右上角空白区域小屏幕录制教师画面；所述第四画面布局为大屏幕录制教师画面，在右下角空白区域小屏幕录制主讲内容画面。[0018] 在本发明的再一个实施例中，所述获取第一屏幕录制画面和第二屏幕录制画面之前还包括：获取第三屏幕录制画面；基于所述第三屏幕录制画面进行状态分析生成状态分析结果；基于所述状态分析结果智能和行为分析结果以及智能分析结果切换录制布局。[0019] 在本发明的再一个实施例中，所述第三屏幕录制画面为包含学生内容的录制画面。[0020] 在本发明的再一个实施例中，所述基于所述第三屏幕录制画面进行状态分析生成状态分析结果包括：基于状态收集器对所述第三屏幕录制画面进行状态分析确定所述学生是否与教师进行互动以生成状态分析结果。[0021] 在本发明的再一个实施例中，所述基于所述状态分析结果智能和行为分析结果以及智能分析结果切换录制布局包括：当所述状态分析结果为否时，结合所述行为分析结果以及智能分析结果切换录制布局；当所述状态分析结果为是时，确定所述第二屏幕录制画面中是否包含主讲内容；当所述第二屏幕录制画面中包含主讲内容时，录制布局切换至第六画面布局；当所述第二屏幕录制画面中不包含主讲内容时，录制布局切换至第五画面布局。[0022] 在本发明的再一个实施例中，所述第六画面布局为大屏幕录制学生画面，小屏幕并列录制教师画面和主讲内容画面；所述第五画面布局为全屏录制学生画面。[0023] 在本发明实施方式的第二方面中，提供了一种智能录制布局切换的装置，其特征在于，所述装置包括：获取模块，用于获取第一屏幕录制画面和第二屏幕录制画面；行为分析模块，用于基于所述第一屏幕录制画面进行行为分析生成行为分析结果；智能分析模块，用于基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果；切换模块，用于基于所述智能分析结果和所述行为分析结果智能切换录制布局。[0024] 在本方的一个实施例中，所述第一屏幕录制画面为包含教师和板书画面的录制画面；所述第二屏幕录制画面为包含主讲内容的录制画面。[0025] 在本发明的另一个实施例中，所述行为分析模块包括：用于基于所述教师画面中教师的肢体行为进行行为分析的模块；用于基于行为分析确定所述教师是否发生板书行为进而生成行为分析结果的模块。[0026] 在本发明的又一个实施例中，所述在智能分析模块前还包括：用于确定所述第二屏幕录制画面中是否包含主讲内容的模块。[0027] 在本发明的再一个实施例中，所述智能分析模块包括：用于当所述第二屏幕录制画面中包含主讲内容且行为分析结果为是时，对所述第二屏幕录制画面进行智能分析得到第一智能分析结果的模块；用于当所述第二屏幕录制画面中包含主讲内容且行为分析结果为否时，对所述第二屏幕录制画面进行智能分析得到第二智能分析结果的模块；用于基于所述第二智能分析结果对所述第二屏幕录制画面进行智能分析得到第三智能分析结果的模块。[0028] 在本发明的再一个实施例中，所述第一智能分析结果为所述第二屏幕录制画面是否包含第一区域；所述第二智能分析结果为所述第二屏幕录制画面是否发生变化；所述第三智能分析结果为所述第二屏幕录制画面是否包含第二区域。[0029] 在本发明的再一个实施例中，所述第一区域为所述第二屏幕录制画面右下角可容纳小窗口的空白区域；所述第二区域为所述第二屏幕录制画面右上角可容纳小窗口的空白区域。[0030] 在本发明的再一个实施例中，所述切换模块包括：用于当所述第二屏幕录制画面中不包含主讲内容时，录制布局切换至第一画面布局的模块；用于当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果以及第一智能分析结果均为是时，录制布局切换至第一画面布局的模块；用于当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果为是以及第一智能分析结果为否时，录制布局切换至第四画面布局的模块；用于当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果为否以及第二智能分析结果和第三智能分析结果均为是时，录制布局切换至第三画面布局的模块；用于当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果和第三智能分析结果均为否以及第二智能分析结果为是时，录制布局切换至第二画面布局的模块。[0031] 在本发明的再一个实施例中，所述第一画面布局为全屏录制教师画面；所述第二画面布局为全屏录制主讲内容画面；所述第三画面布局为大屏幕录制主讲内容画面，在右上角空白区域小屏幕录制教师画面；所述第四画面布局为大屏幕录制教师画面，在右下角空白区域小屏幕录制主讲内容画面。[0032] 在本发明的再一个实施例中，所述获取模块之前还包括：用于获取第三屏幕录制画面的模块；用于基于所述第三屏幕录制画面进行状态分析生成状态分析结果的模块；用于基于所述状态分析结果智能和行为分析结果以及智能分析结果切换录制布局的模块。[0033] 在本发明的再一个实施例中，所述第三屏幕录制画面为包含学生内容的录制画面。[0034] 在本发明的再一个实施例中，所述用于基于所述第三屏幕录制画面进行状态分析生成状态分析结果的模块包括：用于基于状态收集器对所述第三屏幕录制画面进行状态分析确定所述学生是否与教师进行互动以生成状态分析结果的模块。[0035] 在本发明的再一个实施例中，所述用于基于所述状态分析结果智能和行为分析结果以及智能分析结果切换录制布局的模块包括：用于当所述状态分析结果为否时，结合所述行为分析结果以及智能分析结果切换录制布局的模块；用于当所述状态分析结果为是时，确定所述第二屏幕录制画面中是否包含主讲内容的模块；用于当所述第二屏幕录制画面中包含主讲内容时，录制布局切换至第六画面布局的模块；用于当所述第二屏幕录制画面中不包含主讲内容时，录制布局切换至第五画面布局的模块。[0036] 在本发明的再一个实施例中，所述第六画面布局为大屏幕录制学生画面，小屏幕并列录制教师画面和主讲内容画面；所述第五画面布局为全屏录制学生画面。[0037] 根据本发明实施方式的一种智能录制布局切换的方法和装置，通过对抓取的第一和第二屏幕录制内容进行智能分析和行为分析，基于智能分析和行为分析结果在无需人工的干预下在录制的过程中自动调整录制画面布局。可以实现在无专门导播老师的情况下，可以智能自动分享课堂行为，调整录制布局，在不同的教学行为下，突出对应的教学事件，并且也极大地提升了产品的易用性和用户的体验。附图说明[0038] 通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：[0039] 图1示意性地示出了根据本发明实施方式的用于实现智能录制布局切换的方法流程图；[0040] 图2示意性地示出了根据本发明实施方式的第一画面布局示意图；[0041] 图3示意性地示出了根据本发明另一实施例的第二画面布局示意图；[0042] 图4示意性地示出了根据本发明又一实施例的第三画面布局示意图；[0043] 图5示意性地示出了根据本发明再一实施例的第四画面布局示意图；[0044] 图6示意性地示出了根据本发明再一实施例的第五画面布局示意图；[0045] 图7示意性地示出了根据本发明再一实施例的第六画面布局示意图；[0046] 图8示意性地示出了根据本发明用于实现智能录制布局切换的完整方案流程图；[0047] 图9示意性地示出了根据本发明实施方式的用于智能录制布局切换的装置示意图。[0048] 在附图中，相同或对应的标号表示相同或对应的部分。具体实施方式[0049] 下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。[0050] 本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。[0051] 根据本发明的实施方式，提出了一种智能录制布局切换的方法和装置。[0052] 下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。[0053] 发明概述[0054] 本发明人发现，现有的屏幕内容录制技术存在以下缺陷：往往需要后台有专门的导播人员或者会议控制人员进行人工的画面控制，以引导观看人员观看分享的内容或者是主讲人的画面，这样使得人力成本较高，观看人员与演讲者之间需要紧密配合才能完成较好的观看体验。[0055] 为了克服现有技术存在的问题，本发明提供了一种智能录制布局切换的方法和装置，该方法包括以下步骤：获取第一屏幕录制画面和第二屏幕录制画面；基于所述第一屏幕录制画面进行行为分析生成行为分析结果；基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果；基于所述智能分析结果和所述行为分析结果智能切换录制布局。[0056] 在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。[0057] 应用场景总览[0058] 本发明实施例可以应用于远程会议、远程教学或培训等场景，然而，本领域技术人员完全可以理解，本发明实施方式的适用场景不受到该框架任何方面的限制。[0059] 示例性方法[0060] 下面结合应用场景，参考图1‑9来描述根据本发明示例性实施方式的用于实现智能录制布局切换的方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。[0061] 参考图1和8，示意性的示出了根据本发明一个实施例的在发送侧终端用于智能切换画面布局的方法流程图。该方法包括以下步骤：[0062] S100、获取第一屏幕录制画面和第二屏幕录制画面。[0063] 作为示例，第一屏幕录制画面为包含教师和板书画面的录制画面；所述第二屏幕录制画面为包含主讲内容的录制画面，其中主讲内容如教师上课需要讲解的PPT内容，所述板书内容如教师上课在黑板上进行书写的内容。[0064] 作为示例，在获取第一屏幕录制画面和第二屏幕录制画面之前还可以获取第三屏幕录制内容。其中第三屏幕录制内容为包含学生画面的录制内容。由于在教师上课讲解的过程中通常需要和学生之间进行互动，如老师在讲解的过程中对学生进行提问，学生站起来或者坐着对其进行回答。通过获取学生的画面一方面可以提高学生上课的积极性，另一方面也有助于突出学生的答题过程。[0065] S110、基于所述第一屏幕录制画面进行行为分析生成行为分析结果。[0066] 作为示例，所述基于所述第一屏幕录制画面进行行为分析生成行为分析结果包括：基于所述教师画面中教师的肢体行为进行行为分析；基于行为分析确定所述教师是否发生板书行为进而生成行为分析结果。[0067] 更具体地，在此之前，通过状态收集器对第三屏幕录制画面中的学生的状态进行收集，也即确定是否发生学生与教师之间的互动行为，如通过状态收集器确定学生是否有站起来或者是否举手等行为进而生成状态分析结果。若状态分析结果为否时，则基于所述第一屏幕录制画面进行行为分析生成行为分析结果。也即，当学生没有站起来或举手等行为时，根据行为分析模型对获取到的第一屏幕录制画面进行行为分析以确定该录制画面中的教师是否在进行板书书写。如图6‑7所示，若状态分析结果为是时，也即当确定第三屏幕录制画面中的学生站起来或者举手时，则不需要再对第一屏幕录制画面和第二屏幕录制画面进行行为分析和智能分析，而是直接确定第二屏幕录制画面是否录制有主讲内容，若有主讲内容则将录制布局切换到第六布局，若无主讲内容则将录制布局切换到第五布局。由于当学生站起来或者举手时则证明此时老师与学生正在进行互动，如老师正在提问学生回答问题，也即此时教师并未进行书写或讲解，因此此时屏幕上录制的内容应该主要为学生的画面，当有主讲内容录制时，可以将教师的画面和主讲内容的画面以小屏幕并列录制，将学生画面以大屏幕录制，当没有主讲内容时，就可以全屏录制学生画面。这样可以突出学生的答题过程，并且也能够通过小屏幕看到教师和主讲内容画面，可以有效的提高学生上课的积极性。需要声明的是，本申请并不限制具体的教师画面和主讲内容画面以及学生画面的布局录制位置，只要满足学生以大屏幕录制即可，也可以不录制教师画面和/或不录制主讲内容画面。[0068] S120、基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果。[0069] 作为示例，基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果包括：当所述第二屏幕录制画面中包含主讲内容且行为分析结果为是时，对所述第二屏幕录制画面进行智能分析得到第一智能分析结果，当所述第二屏幕录制画面中包含主讲内容且行为分析结果为否时，对所述第二屏幕录制画面进行智能分析得到第二智能分析结果，基于所述第二智能分析结果对所述第二屏幕录制画面进行智能分析得到第三智能分析结果。其中，第一智能分析结果为所述第二屏幕录制画面是否包含第一区域，所述第二智能分析结果为所述第二屏幕录制画面是否发生变化，所述第三智能分析结果为所述第二屏幕录制画面是否包含第二区域。所述第一区域为所述第二屏幕录制画面右下角可容纳小窗口的空白区域，所述第二区域为所述第二屏幕录制画面右上角可容纳小窗口的空白区域。[0070] 具体地，当行为分析结果为是时，也即此时第一屏幕录制画面中的教师正在书写板书，进而基于行为分析结果确定第二屏幕录制画面中是否录制有主讲内容(如PPT)，若包含PPT，则对第二屏幕录制画面进行智能分析确定该第二屏幕录制画面是否在右下角的位置包含有可以叠加小屏幕的空白区域或者有符合叠加小屏幕但不会遮挡板书的区域。若第二屏幕录制画面中没有录制有主讲内容(如PPT)时，则证明此时教师并未分享教学内容，而是仅仅通过板书的方式对学生进行讲解，因此此时不需要考虑录制主讲内容，仅仅需要全屏录制教师画面即可。[0071] 当行为分析结果为否时，也即此时第一屏幕录制画面中的教师并未书写板书，进而基于行为分析结果确定第二屏幕录制画面中是否录制有主讲内容(如PPT)，若包含PPT，则要确定PPT中的内容是否发生变化，若PPT内容发生变化，则确定第二屏幕录制画面中的PPT的右上角的位置是否包含有可以叠加小屏幕的空白区域或者有符合叠加小屏幕但不会遮挡PPT的区域。若第二屏幕录制画面中不包含PPT，则证明此时教师并未分享教学内容，而是仅仅通过口述的方式或其他方式对学生进行讲解，因此此时不需要考虑录制主讲内容，仅仅需要全屏录制教师画面即可。[0072] S130、基于所述智能分析结果和所述行为分析结果智能切换录制布局。[0073] 作为示例，如图2所示，所述基于所述智能分析结果和所述行为分析结果智能切换录制布局包括：当所述第二屏幕录制画面中不包含主讲内容时(即不包含PPT时)，录制布局切换至第一画面布局，也即此时教师并不需要分享PPT，而是仅仅通过口述或课本等即可对学生进行讲解，因此此时仅仅需要全屏录制教师的画面即可，这样通过全屏录制教师的画面可以使得教师的讲课过程更加的生动形象。[0074] 当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果以及第一智能分析结果均为是时，录制布局切换至第一画面布局。具体地例子，当行为分析模型识别出第一屏幕录制画面中的教师有书写板书行为、并且第二屏幕录制的内容包含PPT以及在录制屏幕的右下角的位置不包含有可以叠加小屏幕的空白区域或者没有符合叠加小屏幕但不会遮挡板书的区域时，则为了可以明确的录制教师的书写内容以及不会遮挡到板书内容，则在录制的过程中自动切换到全屏录制教师画面的布局。[0075] 如图5所示，当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果为是以及第一智能分析结果为否时，录制布局切换至第四画面布局。具体地例子，当行为分析模型识别出第一屏幕录制画面中的教师有书写板书行为、并且第二屏幕录制的内容包含PPT以及在录制屏幕的右下角的位置包含有可以叠加小屏幕的空白区域或者有符合叠加小屏幕但不会遮挡板书的区域时，则在录制的过程中自动切换到大屏幕录制教师画面的布局，并且由于有空白的区域，还可以在空白的区域以小屏幕录制PPT内容，这样既可以明确的录制教师的书写内容，也可以通过小屏幕录制主讲内容，这样录制的课程中既可以清楚的录制教师的板书内容也可以录制主讲内容。[0076] 如图4所示，当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果为否以及第二智能分析结果和第三智能分析结果均为是时，录制布局切换至第三画面布局。具体地例子，当行为分析模型识别出第一屏幕录制画面中的教师没有书写板书行为、并且第二屏幕录制的内容包含PPT并且PPT在发生变化以及在录制屏幕的右上角的位置包含有可以叠加小屏幕的空白区域或者有符合叠加小屏幕但不会遮挡板书的区域时，则在录制的过程中自动切换到大屏幕录制PPT内容，小屏幕录制教师画面的布局。因为此时由于PPT的内容在变化，证明教师当前正在讲解PPT的内容，因此通过大屏录制PPT的内容可以使得分享课件是能够清楚的观看到PPT的内容，而不会出现由于看不清PPT内容导致的不能理解教师讲解内容的情况，并且通过小屏录制教师的画面还可以使学生通过教师的肢体语言更加深刻的了解到所讲解的内容。[0077] 如图3所示，当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果和第三智能分析结果均为否以及第二智能分析结果为是时，录制布局切换至第二画面布局。具体地例子，当行为分析模型识别出第一屏幕录制画面中的教师没有书写板书行为、并且第二屏幕录制的内容包含PPT并且PPT在发生变化以及在录制屏幕的右上角的位置不包含有可以叠加小屏幕的空白区域或者没有符合叠加小屏幕但不会遮挡板书的区域时，则在录制的过程中自动切换到全屏录制PPT内容的布局。这样可以有效的保证PPT的内容不被遮挡。[0078] 本申请通过基于对录制屏幕进行智能分析和行为分析来自动进行录制屏幕的画面布局切换，使得在无需人工操作的情况下，智能分析PPT课件内容、老师板书行为，自动调整录制画面布局。实现内容分享时，大屏清晰展示PPT课件内容，并根据课件内容自动分析是否叠加老师画面；当老师在黑板进行书写讲解时，自动切换到老师全屏画面。达到即能清晰录制分享内容，又能实时切换查看老师讲解过程的目的，实现极佳的现场感观看体验。[0079] 示例性装置[0080] 在介绍了本发明示例性实施方式的方法之后，接下来，参考图9对本发明示例性实施方式的用于实现智能录制布局切换的装置示意图，该装置包括以下模块：[0081] 获取模块900，用于获取第一屏幕录制画面和第二屏幕录制画面。[0082] 作为示例，第一屏幕录制画面为包含教师和板书画面的录制画面；所述第二屏幕录制画面为包含主讲内容的录制画面，其中主讲内容如教师上课需要讲解的PPT内容，所述板书内容如教师上课在黑板上进行书写的内容。[0083] 作为示例，在获取第一屏幕录制画面和第二屏幕录制画面之前还可以获取第三屏幕录制内容。其中第三屏幕录制内容为包含学生画面的录制内容。由于在教师上课讲解的过程中通常需要和学生之间进行互动，如老师在讲解的过程中对学生进行提问，学生站起来或者坐着对其进行回答。通过获取学生的画面一方面可以提高学生上课的积极性，另一方面也有助于突出学生的答题过程。[0084] 行为分析模块910，用于基于所述第一屏幕录制画面进行行为分析生成行为分析结果。[0085] 作为示例，所述基于所述第一屏幕录制画面进行行为分析生成行为分析结果包括：基于所述教师画面中教师的肢体行为进行行为分析；基于行为分析确定所述教师是否发生板书行为进而生成行为分析结果。[0086] 更具体地，在此之前，通过状态收集器对第三屏幕录制画面中的学生的状态进行收集，也即确定是否发生学生与教师之间的互动行为，如通过状态收集器确定学生是否有站起来或者是否举手等行为进而生成状态分析结果。若状态分析结果为否时，则基于所述第一屏幕录制画面进行行为分析生成行为分析结果。也即，当学生没有站起来或举手等行为时，根据行为分析模型对获取到的第一屏幕录制画面进行行为分析以确定该录制画面中的教师是否在进行板书书写。如图6‑7所示，若状态分析结果为是时，也即当确定第三屏幕录制画面中的学生站起来或者举手时，则不需要再对第一屏幕录制画面和第二屏幕录制画面进行行为分析和智能分析，而是直接确定第二屏幕录制画面是否录制有主讲内容，若有主讲内容则将录制布局切换到第六布局，若无主讲内容则将录制布局切换到第五布局。由于当学生站起来或者举手时则证明此时老师与学生正在进行互动，如老师正在提问学生回答问题，也即此时教师并未进行书写或讲解，因此此时屏幕上录制的内容应该主要为学生的画面，当有主讲内容录制时，可以将教师的画面和主讲内容的画面以小屏幕并列录制，将学生画面以大屏幕录制，当没有主讲内容时，就可以全屏录制学生画面。这样可以突出学生的答题过程，并且也能够通过小屏幕看到教师和主讲内容画面，可以有效的提高学生上课的积极性。需要声明的是，本申请并不限制具体的教师画面和主讲内容画面以及学生画面的布局录制位置，只要满足学生以大屏幕录制即可，也可以不录制教师画面和/或不录制主讲内容画面。[0087] 智能分析模块920，用于基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果。[0088] 作为示例，基于所述行为分析结果对所述第二屏幕录制画面进行智能分析生成智能分析结果包括：当所述第二屏幕录制画面中包含主讲内容且行为分析结果为是时，对所述第二屏幕录制画面进行智能分析得到第一智能分析结果，当所述第二屏幕录制画面中包含主讲内容且行为分析结果为否时，对所述第二屏幕录制画面进行智能分析得到第二智能分析结果，基于所述第二智能分析结果对所述第二屏幕录制画面进行智能分析得到第三智能分析结果。其中，第一智能分析结果为所述第二屏幕录制画面是否包含第一区域，所述第二智能分析结果为所述第二屏幕录制画面是否发生变化，所述第三智能分析结果为所述第二屏幕录制画面是否包含第二区域。所述第一区域为所述第二屏幕录制画面右下角可容纳小窗口的空白区域，所述第二区域为所述第二屏幕录制画面右上角可容纳小窗口的空白区域。[0089] 具体地，当行为分析结果为是时，也即此时第一屏幕录制画面中的教师正在书写板书，进而基于行为分析结果确定第二屏幕录制画面中是否录制有主讲内容(如PPT)，若包含PPT，则对第二屏幕录制画面进行智能分析确定该第二屏幕录制画面是否在右下角的位置包含有可以叠加小屏幕的空白区域或者有符合叠加小屏幕但不会遮挡板书的区域。若第二屏幕录制画面中没有录制有主讲内容(如PPT)时，则证明此时教师并未分享教学内容，而是仅仅通过板书的方式对学生进行讲解，因此此时不需要考虑录制主讲内容，仅仅需要全屏录制教师画面即可。[0090] 当行为分析结果为否时，也即此时第一屏幕录制画面中的教师并未书写板书，进而基于行为分析结果确定第二屏幕录制画面中是否录制有主讲内容(如PPT)，若包含PPT，则要确定PPT中的内容是否发生变化，若PPT内容发生变化，则确定第二屏幕录制画面中的PPT的右上角的位置是否包含有可以叠加小屏幕的空白区域或者有符合叠加小屏幕但不会遮挡PPT的区域。若第二屏幕录制画面中不包含PPT，则证明此时教师并未分享教学内容，而是仅仅通过口述的方式或其他方式对学生进行讲解，因此此时不需要考虑录制主讲内容，仅仅需要全屏录制教师画面即可。[0091] 切换模块930，用于基于所述智能分析结果和所述行为分析结果智能切换录制布局。[0092] 作为示例，如图2所示，所述基于所述智能分析结果和所述行为分析结果智能切换录制布局包括：当所述第二屏幕录制画面中不包含主讲内容时(即不包含PPT时)，录制布局切换至第一画面布局，也即此时教师并不需要分享PPT，而是仅仅通过口述或课本等即可对学生进行讲解，因此此时仅仅需要全屏录制教师的画面即可，这样通过全屏录制教师的画面可以使得教师的讲课过程更加的生动形象。[0093] 当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果以及第一智能分析结果均为是时，录制布局切换至第一画面布局。具体地例子，当行为分析模型识别出第一屏幕录制画面中的教师有书写板书行为、并且第二屏幕录制的内容包含PPT以及在录制屏幕的右下角的位置不包含有可以叠加小屏幕的空白区域或者没有符合叠加小屏幕但不会遮挡板书的区域时，则为了可以明确的录制教师的书写内容以及不会遮挡到板书内容，则在录制的过程中自动切换到全屏录制教师画面的布局。[0094] 如图5所示，当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果为是以及第一智能分析结果为否时，录制布局切换至第四画面布局。具体地例子，当行为分析模型识别出第一屏幕录制画面中的教师有书写板书行为、并且第二屏幕录制的内容包含PPT以及在录制屏幕的右下角的位置包含有可以叠加小屏幕的空白区域或者有符合叠加小屏幕但不会遮挡板书的区域时，则在录制的过程中自动切换到大屏幕录制教师画面的布局，并且由于有空白的区域，还可以在空白的区域以小屏幕录制PPT内容，这样既可以明确的录制教师的书写内容，也可以通过小屏幕录制主讲内容，这样录制的课程中既可以清楚的录制教师的板书内容也可以录制主讲内容。[0095] 如图4所示，当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果为否以及第二智能分析结果和第三智能分析结果均为是时，录制布局切换至第三画面布局。具体地例子，当行为分析模型识别出第一屏幕录制画面中的教师没有书写板书行为、并且第二屏幕录制的内容包含PPT并且PPT在发生变化以及在录制屏幕的右上角的位置包含有可以叠加小屏幕的空白区域或者有符合叠加小屏幕但不会遮挡板书的区域时，则在录制的过程中自动切换到大屏幕录制PPT内容，小屏幕录制教师画面的布局。因为此时由于PPT的内容在变化，证明教师当前正在讲解PPT的内容，因此通过大屏录制PPT的内容可以使得分享课件是能够清楚的观看到PPT的内容，而不会出现由于看不清PPT内容导致的不能理解教师讲解内容的情况，并且通过小屏录制教师的画面还可以使学生通过教师的肢体语言更加深刻的了解到所讲解的内容。[0096] 如图3所示，当所述第二屏幕录制画面中包含主讲内容时，并且所述行为分析结果和第三智能分析结果均为否以及第二智能分析结果为是时，录制布局切换至第二画面布局。具体地例子，当行为分析模型识别出第一屏幕录制画面中的教师没有书写板书行为、并且第二屏幕录制的内容包含PPT并且PPT在发生变化以及在录制屏幕的右上角的位置不包含有可以叠加小屏幕的空白区域或者没有符合叠加小屏幕但不会遮挡板书的区域时，则在录制的过程中自动切换到全屏录制PPT内容的布局。这样可以有效的保证PPT的内容不被遮挡。[0097] 应当注意，尽管在上文详细描述中提及了一种文档清晰化处理装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。[0098] 此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。[0099] 虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

专利地区：上海

专利申请日期：2021-10-12

专利公开日期：2024-06-18

专利公告号：CN113965793B