星标/置顶我们，获取免费讲座、限量学术干货
这段时间最热的话题，无疑是 ChatGPT4.0.
在 ChatGPT 引爆科技领域之后，人们一直在讨论 AI「下一步」的发展会是什么，很多学者都提到了多模态，而在 3 月 15 日，OpenAI 发布了多模态预训练大模型 GPT-4。
GPT-4 实现了以下几个方面的飞跃式提升：强大的识图能力；文字输入限制提升至 2.5 万字；回答准确性显著提高；能够生成歌词、创意文本，实现风格变化。
换而言之，它的“感知力”获得了飞跃式的提升，变得更像一个高级智能“生命体”，而不是一个冰冷冷的聊天机器。而这，正是得益于多模态模型的发展。
那么，什么是多模态模型呢？
技术革新：多模态机器学习
在理解多模态之前，我们首先要了解，什么叫做模态（Modality）呢？
每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。
同时，模态也可以有非常广泛的定义，比如我们可以把两种不同的语言当做是两种模态，甚至在两种不同情况下采集到的数据集，亦可认为是两种模态。
因此，多模态机器学习，英文全称 MultiModal Machine Learning (MMML)，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。目前比较热门的研究方向是图像、视频、音频、语义之间的多模态学习。
GPT-4 就是一个典型的大型多模态模型，能接受图像和文本输入，再输出正确的文本回复。实验表明，GPT-4 在各种专业测试和学术基准上的表现与人类水平相当。例如，它通过了模拟律师考试，且分数在应试者的前 10% 左右；相比之下，GPT-3.5 的得分在倒数 10% 左右。
如何抓住多模态技术新风口？
尽管这项技术可能刚刚为圈外人们所了解，但其实针对多模态的相关研究和探索已经有很多年了。
多模态学习从 1970 年代起步，经历了几个发展阶段，在 2010 后全面步入 Deep Learning 阶段。人其实是一个多模态学习的总和，所以也有越来越多专家学者会表示：多模态学习才是真正的人工智能发展方向。
你想要做这样一个热门课题吗？抓住新一波互联网技术革新的浪潮。
这一次，棕榈实验室又走到了前列，第一时间为同学们带来了 UIUC 导师指导的「计算机视觉/自然语言处理/机器学习-视觉+语言多模态学习」一对一科研项目。
本次项目适合所有想要在计算机/人工智能领域，尤其是想要在：①自监督学习，半监督学习；②迁移学习；③视觉+语言多模态学习，收获重量级科研成果的同学。你将在导师指导下，完成一篇高质量论文，发表 EI/CPCI 级别期刊或国际会议，并冲刺更高水平的核心期刊和顶尖会议发表。
重磅导师
UIUC 导师 计算机国际顶会审稿人
伊利诺伊大学香槟分校博士，研究方向为计算机视觉、自然语言处理、机器学习，第一作者发表 CVPR 等 CCF A 类论文，多次在 NeurIPS，CVPR，ICASSP 等国际计算机视觉和机器学习会议担任审稿人
项目辅导详情
本次专项辅导计划，导师将结合线上授课+科研实战+论文写作等方式，会根据你在计算机视觉/自然语言处理/机器学习方向研究的兴趣点，一对一定制适合你具体研究课题和相关项目研究方案。在项目中，导师将与你讨论并确定论文选题，手把手带你进行前沿课题探索与科研实战，掌握学术论文撰写能力，了解投稿论文的流程和注意事项。最终，你将独立完成高质量学术论文，并完成发表你所进行的课题，将是由你和导师探讨后的全新课题方向，无需担心同质化，在同期学员中 95% 的同学可以完成更高质量的研究性论文。具体项目详情如下——
项目特色
▌切合同学需求，一对一定制辅导方案
导师具有多年科研和教学经验，辅导过多位同学进行科研学习和能力提升，因此可以根据同学的当前水平和需求量身定制具体一对一学术方案，丰富经历，提升能力。▌紧扣科技革新浪潮，丰富课题可供选择项目涉及①自监督学习，半监督学习；②迁移学习；③视觉+语言多模态学习等等方向，都在科技革新的浪潮中占据重要位置，可探索课题丰富。你可以大胆的进行创新且前沿的科学研究，探索和获得学术成果的空间也将更加广阔。▌导师全程亲自授课+不限时课下答疑老师将利用 ZOOM 直播视频全程亲自授课，并在同学专属课程群内不限时答疑，同学将有充分的机会与老师进行零距离互动，确保学生都能收获到最有针对性的学习体验，产出高质量论文。▌学术督导全程陪伴式学习除此之外，学生还将配有学术督导 1 名，为学生安排和协调上课时间，了解学生进度，督促学生学习，最大程度确保同学有收获有产出！
相关问题答疑
▌Q：课程形式是怎样的？可以线下吗？
A：项目为线上辅导，你与重量级导师一对一沟通。
▌Q：报名对学生基础有要求吗？
A：不限基础，均可以发表EI/CPCI级别论文，并有机会冲刺更高水平期刊。
▌Q：辅导课程的周期是怎样的？如果不冲击期刊发表，也可以进行辅导吗？
科研论文 1v1 项目的普通周期是 2.5-5 个月。
如果不冲击期刊&会议发表，导师也可以根据你的学习基础制定合理的学术目标，进行定制化的一对一辅导。
机会难得，马上报名
我们的学术顾问，已经在摩拳擦掌准备为你答疑解惑啦！
请扫下方二维码，添加学院学术顾问，有关本次计算机视觉/自然语言处理/机器学习-视觉+语言多模态学习」计划的学费、课程安排及其他任何相关问题，都由Ashley老师来为你解答！重要提醒！！为了最完善最尽心的辅导，每位导师只能辅导 1-2 名学生。如果正是你所需，一定要尽快报名！扫码添加学术顾问二维码回复【多模态学习1V1】马上咨询
最后 Lab 君想说的是
大学看似很长，但想要有一篇核心期刊的发表，至少需要花费 3-6 个月的时间，也就是你人生中非常黄金的半年。如果一晃神错过，很可能时间上就再也来不及。
把握住当下，是因为未来的无限的可能，是靠现在一点点的积累。最黄金的当下，用一笔小小的投资为自己加码！用最小的成本，成就最好的自己！
相关文章
