今天是
福建农林大学
福建农林大学计算机与信息学院
您当前的位置:首页  教学科研  科学研究
数字福建农林大数据研究所举办第四十四期研究生学术交流会
发布时间 :2022-06-15 信息员:周晗 徐宏韬/文 徐宏韬/图 廖云茜/编辑 浏览次数:10

2022614日下午,计算机与信息学院数字福建农林大数据研究所举办研究生学术交流会。本次交流会在下安实验楼B603-1会议室进行,线上腾讯会议结合进行,便于广泛交流和指导。此次交流会2021级计算机科学与技术专业研究生周晗同学主持,2021电子信息专业研究生徐宏韬和2021级计算机科学与技术专业研究生周晗同学汇报研究工作和内容,计算机与信息学院部分研究生参加了交流会。

交流会现场


徐宏韬同学汇报了以Green Hierarchical Vision Transformer for Masked Image Modeling》为主题的科研工作,他研究工作的背景及意义研究内容与实验分析总结与展望进行了汇报对于模型与方法中的研究重点和创新点进行了详细的分析与讲解。针对Swin TransformerMasked Image Modeling中模型过大的问题,文中提出了基于滑动窗口和贪心算法的Group Window Attention来缩小模型,提高模型训练速度,并详细讨论了该方法的实现原理以及其优点。徐宏韬同学汇报结束后,各位同学踊跃提出了自己的问题和建议。李军同学对Group Window Attention的算法实现过程提出了问题,李文龙同学对于训练后模型准确率的计算方法提出了疑问,方万传同学针对模型的应用场景提出了建议。

周晗同学汇报了以Training-free Transformer Architecture Search》为主题的科研工作,他从研究工作的背景及意义实验方法与实验分析和总结与展望进行了汇报对于方法中的研究重点和创新点进行了详细的分析与讲解。针对Transformer的空间搜索问题,文中提出了用MSA的突触多样性和MLP的突触显著性作为衡量指标,在不需要训练超网的情况下快速高效的找到最优子网,并讨论分析了现有的几种子网搜索方法的结果及性能。周晗同学汇报结束后,各位同学踊跃提出了自己的问题和建议。李军同学对剪枝与MLP突触显著性之间的关系提出了疑问,孙琪同学对于MSA突触多样性关于核范数计算的公式提出了问题,吕钟亮同学针对验证指标有效性的对比实验给出了建议。

     同学们都在探讨中获得了一定的提升。