云冬令营 | 2023年寒假线上访学项目 英国剑桥大学 ​在线深度强化学习项目

作者: 时间:2022-10-25 点击数:

    一、项目综述

深度学习是机器学习领域中一个新的研究方向,其目标是建立模拟人脑进行分析学习的神经网络,并通过这套机制识别与解释文字、图像和声音等数据,从而使人工智能变为可能。本项目是英国剑桥大学设计的线上远程教学项目,旨在提升学生在深度学习前沿领域的核心知识,掌握主流的工具与技术,并且了解该领域与其它领域之间的关联与发展潜力。


二、特色与优势

➢ 【顶级的剑桥师资】由剑桥大学计算机系教授兼剑桥人工智能小组成员亲自参与设计与授课;

➢ 【前沿的课程主题】涵盖当今深度学习与机器学习领域的核心理论,并配合大量实践环节,帮助学生掌握最主流的工具与技术;

➢ 【官方品质项目】学生可获权使用剑桥大学官方教学系统Moodle,并可获得剑桥大学格顿学院的官方成绩单与项目证书;

➢ 【四六级即可申请】无需托福雅思成绩,用大学英语四/六级即可申请参加


三、剑桥大学与格顿学院简介

➢ 创建于1209年的剑桥大学,是英国乃至世界上历史最悠久的大学之一,同时也被公认为是世界上最顶尖的高等教育机构之一,在艺术与人文、数学、物理、工程与技术、医学、法学、商科等诸多领域拥有崇高的学术地位及广泛的影响力;

➢ 2022年Times世界大学综合排名位列第5,计算机科学专业世界排名第4;2022年QS世界大学综合排名位居第3;

➢ 格顿学院成立于1869年,距今已有150多年的历史,是剑桥重要的学院之一,在剑桥所有学院中学生总量排名前十,以活跃、轻松和友善的学习氛围著称。格顿学院提供丰富的本科与研究生课程,领域包括工程、计算机科学、建筑、经济学、历史、地理、人文社科、数学、法律、医学、音乐、国际关系、社会学、语言学等。


四、访学项目介绍

课程日期

2023116– 23日(3周)

授课模式

⟡ 项目为期三周,包含总共20个小时直播(约26课时),多数课程预计会安排在北京时间下午至晚间进行;

⟡ 授课形式包括系列专题讲座+实践环节(总共10场,每场各2小时)。学生需在项目结束前完成小组项目。

课程内容

课程将探讨深度强化学习的最新潜力,侧重于强化学习和深度学习的基础知识(包括卷积神经网络、图形神经网络、生成神经网络和Transformer模型),并将分享机器人和游戏中的实例,从而加强学生对深度学习核心理念的了解,提升相关的研究技能与实用技巧。以下为计划的课程内容(以实际安排为准):

讲座内容

实践内容

主题:强化学习导论

● 强化学习的算法和框架;遗传算法,帕累托前沿

● 强化学习与深度学习的联系(Transformers模型、图形神经网络);强化学习案例分析;

● 如何撰写相关文章

主题:科学计算工具简介

● Jupyter Notebook的基本使用以及LaTeX;

● 强化学习框架中的基本组件;

● 小组项目说明

主题:环境

● 环境复杂性建模

● 多智能体强化学习(MARL)

● Q-Learning以及Actor-Critic模型

● 基于政策的学习;

● 马尔可夫决策过程、动态编程和贝尔曼方程;

● 强化学习与深度学习的联系

主题:环境

● 强化学习框架中的基本组件;

● 马尔可夫决策过程;

● OpenAI Gym简介

● 小组项目说明

主题:优化

● 强化学习与控制优化

● 深度Q网络

● 强化学习与深度学习的联系

● 强化学习案例

● Transformers模型和图像分析集成

● Pytork简介;备份图;

● 使用马尔可夫决策过程进行优化(动态编程、贝尔曼方程、策略迭代、值迭代)

● 项目进展汇报

主题:集成与控制

● 机器人与贡献度分配问题

● 冗余度机器人的自适应运动控制

● 多智能体强化学习与机器人

● 强化学习与其他深度学习技巧的整合;

主题:无模型算法

● 基于价值的算法(蒙特卡罗、时间差分学习、SARSA、Q-learning、DQN及其变体)

● 项目进展汇报

主题:集成

● 与图形神经网络的集成;关注和信息传递模型;

● 与AUTO-ML和ML系统的集成;

主题:无模型算法

● 基于策略的算法(策略梯度、增强);

● Actor-Critic算法

● 项目进展汇报

主题:图神经网络(GNN)与强化学习

● 图示学习与强化学习的关联

● 图神经网络练习

● 项目进展汇报

主题:监管图神经网络

● 图神经网络与游戏的理论与运用

主题:图神经网络练习

● DGL, Spektral, Pytorch

● 项目进展汇报

主题:无监管图神经网络

● 图神经网络与机器人

主题:图神经网络练习

● DGL, Spektral, Geometric Pytorch

● 项目进展汇报

图神经网络(GNN)与强化学习:

高级建模

项目进展汇报

● 项目回顾与总结

● 小组项目成果陈述

师资介绍


皮埃特罗·里奥教授Prof. Pietro Liò

剑桥大学计算机科学系教授,剑桥大学人工智能专家小组成员,剑桥大学人工智能医学中心成员。个人主要研究兴趣聚焦于开发人工智能和计算生物学模型,以了解疾病的复杂性,并解决个性化和精确医学问题,目前的重点是图形神经网络建模。里奥教授硕士毕业于剑桥大学,后于意大利佛罗伦萨大学工程系获得博士学位(复杂系统与非线性动力学方向)。


项目考核

项目学生由剑桥大学进行统一的学术管理与学术考核,顺利完成学习后,学生将获得剑桥大学格顿学院颁发的成绩单与项目证书。

图:剑桥大学项目证书与成绩单样图


项目费用

项目总费用

人民币7,250元

费用包括:

学杂费,以及项目服务费


五、项目申请

1) 英语要求:托福79,或雅思6.0,或大学英语四级500分,或大学英语六级470分,或专四/专八通过,或Duolingo105;

2、 报名方式:登录全美国际教育协会网站www.usiea.org填写《世界名校访学项目报名表》,并完成校内申请流程(见“留学境外栏目”)

 

 

六、联系方式

全美国际教育协会官网:www.usiea.org

项目咨询:刘老师 17791779827(微信同号)

项目邮箱咨询:visitupenn@yeah.net

 

国际处联系人:郑老师

联系电话:86173189

地址:西安工业大学(未央校区)行政楼608

西安工业大学国际交流与对外合作处(港澳台事务办公室)  地址:陕西省西安市未央区学府中路2号
电话:+86-29-86173189  邮编:710021
ICP备案号:陕ICP备15000397号