Lecture 1:从Science for Al 到 Al for Science: 人工智能与基础科学的“双重奏”
学生余星耀:2024年的计算机前沿技术课程,是由来自北京大学的田永鸿教授担任第一讲。他以《人工智能与基础学科的“双重奏”》为主题,引领我们深入探索AI这一领域。
田永鸿教授首先为我们勾勒出全球AI大模型发展的壮阔图景。近年来,AI大模型以惊人的速度成长,其模型参数规模持续膨胀。与之并行的是,这些模型在不同领域的实际应用中展现出了非凡的成效。然而国内AI发展的步伐并未完全跟上国际节奏。一方面,中国在AI领域的投入依然略显不足;另一方面,作为AI发展基石的“算力”问题,尤其是显卡供应,长期受制于美国。尽管如此,田教授也分享了积极的一面,指出国内以华为为代表的企业与各类研究机构也在积极寻求突破算力封锁的路径,其中,“鹏城云脑”作为云计算与人工智能融合的典范,尤为引人注目。
田教授的讲述揭示了一个明显趋势:近年来,由于资金与计算资源的限制,国内外的AI发展愈发由企业主导。基于此,田永鸿教授在接下来的讲座中深入剖析了一个核心议题:在当前背景下,高校如何为AI研究贡献力量?
面对资金与硬件的双重约束,高校需另辟蹊径, “Science for AI”理念便是一剂良药。他特别强调了脉冲神经网络(SNN)这一在生物学意义上更能模仿人脑的模型。田永鸿教授首先向我们概括性的回答了“脉冲神经网络是什么?”的问题——SNN比起普通的神经网络进一步模仿了人脑使用脉冲信号作为传播信号的运行机制,因此具有低功耗的特点。田教授深入剖析了两种模拟人脑神经元运作机制的模型:LIF模型与HH模型,并详细阐述了SNN在算法与应用层面的最新进展。尤为振奋人心的是,田教授指出,大规模SNN的性能瓶颈已近乎攻克,为我们这些新晋研究生在SNN研究领域提供了广阔的施展空间。
除了“Science for AI”这条路外,田教授还前瞻性地指出,“AI for Science”是一个更为高瞻远瞩且适合高校探索的方向。虽然“AI for Science”这个方向还处于刚起步的阶段,但已涌现出如AlphaFold等通过AI解决生物医学方面问题的突破性成果。因此,作为高校研究生,若能将AI技术应用于其他领域,特别是解决数据复杂且密集的科学问题,无疑是一个极具前瞻性的研究路径。
田永鸿教授的这次讲座,不仅让我对AI大模型领域的发展现状有了更清晰的认识,也为我揭示了AI未来的发展方向。特别是在脉冲神经网络方面,当前AI大模型的发展日益偏向于参数量的堆砌,而对轻量化与小型化的重视不足。在此背景下,SNN因其采用脉冲信号作为信号传播方式而天然具备轻量化的优势,预示着在未来可穿戴智能设备等新兴领域可能拥有广阔的应用前景。
Lecture 2:多模态融合与交叉学科创新
学生熊浩然:2024年9月21日下午,我有幸聆听了哈尔滨工业大学俞俊教授关于“多模态融合与交叉学科创新”的学术报告。在报告中,俞教授介绍了多模态技术的现状与发展,并通过多模态技术+医学图像的典型案例,阐释了“多模态融合与交叉学科创新”这一领域的发展趋势,为我们的研究生涯和科研工作提供了深刻见解和宝贵经验。
俞教授从多模态技术开始介绍,剖析了多模态分析所面临的数据特征与实际需求之间的矛盾与挑战,并简要说明了典型的多模态任务,如图像-文本搜索、视觉描述、视觉问答及视觉导航等。他进一步阐述了常见的视觉、语言等多模态特征表示技术及多粒度特征融合技术,使我们对多模态的发展、概念及技术有了初步且全面的理解。
针对多模态学习和推理的具体研究,俞教授强调了Transformer在多模态推理中的卓越能力,并详细介绍了三种多模态学习方法。具体而言,多模态多任务学习通过共享的Transformer特征提取模块,配合参数独立技术适配不同任务,但可能面临训练困难和灾难性遗忘等问题;多模态神经架构搜索则针对特定任务,通过搜索获得轻量化模型,但可能牺牲部分性能;多模态预训练则在综合性能上表现最佳,但其训练和部署的计算开销较大。此外,俞教授还介绍了一种创新的方法,即利用任务相关的小模型为大模型提供答案启发,从而进一步提升了基于知识的多模态推理能力。这一系列深入浅出的讲解,为我们揭示了多模态技术的核心与前沿,并激发了我们对特征对齐与融合的新思考。
对于多模态技术如何与交叉学科进行创新研究,俞教授以医学图像报告生成领域为例向我们介绍了他的见解。他将多模态分析应用于医学图像报告生成领域,重点展示了细粒度医学影像-文本语义对齐方法及跨模态思维链推理流程。通过生动的演示,他展示了如何逐步定位病变位置并生成医学报告,这一应用极大地提升了临床诊断的便捷性,并有效降低了因疲劳导致的漏诊和误诊风险。同时,俞教授强调,多模态融合与交叉学科创新的研究应紧跟大模型时代的发展步伐。以医学交叉应用为例,该应用可以基于渐进式知识增强的多模态大模型研究范式,即通过在通用基座模型上进行专业领域微调,实现高效的多模态推理能力。这一观点激励我们科研工作者要与时俱进,勇于创新。
在报告过程中,俞教授还分享了项目开展过程中的宝贵经验,教导我们AI+专业领域的研究需要立足于对专业领域的了解,需要学生扩展学习其他专业知识。这一点令我感触颇深,为我开展AI+平面户型设计领域方向提供了启发与思路——扩展学习平面户型专业领域知识与平面户型设计流程,以专业知识启发研究。能够在研究初期就聆听到如此精彩的报告,我深感荣幸并受益匪浅。未来研究中,我将以专业知识为舟,以AI技术为桨,从专业领域获取启发与思路,解决专业领域痛难点问题,在科研与产业中砥砺前行!
Lecture 3:智能物联网系统
学生吕韬:2024年9月28日下午,西北工业大学的郭斌教授为我们带来了一场精彩的讲座,主题聚焦于“嵌入式智能计算”这一前沿领域,深入浅出地探讨了相关背景、现有挑战以及最新成果。郭教授的讲解清晰而精炼,不仅加深了我们对嵌入式智能的认识,同时也为未来的研究工作开辟了新的视野和思路。
郭教授首先向我们介绍了嵌入式智能计算的背景。随着时代发展,众多领域如智慧城市、公共安全、环境监测、军事国防等,对计算的时效性、隐私保护等方面提出了更高的标准。在这样的情境下,嵌入式智能系统的优势日益显著。与集中式的云计算不同,终端设备上的计算面临着环境动态变化、资源受限等难题,如何协调受限的资源供给与复杂任务需求成为了关键挑战。围绕这样的背景,郭教授向我们展示了一系列研究成果,并鼓励我们从多角度进行系统层面的思考与探索。
针对终端智能面对不同环境的自适应问题,郭教授向我们讲解了多变体自演化模型训练,以不同粒度进行自适应模型压缩,并采用一套联合训练策略,最终降低变体演化成本、灵活进行细缩放架构调节并提升搜索多样性;另一个设计是运行时的可伸缩算子融合,从计算图着手,将存在数据依赖的“生产者-消费者”算子按需融合,以达到算法与底层算子调度的跨层优化,从而减小计算与访存开销、提升实时性。
挖掘异构情景与模型性能的关联映射、实时选择最优推理模型,对于实际中的系统落地部署至关重要。为此,郭教授团队提出了AdaEvo框架,充分挖掘动态情景、资源与深度模型间的耦合作用机理,并设计自适应决策部署机制;紧密结合业界,与华为合作进行云—边—端协同潜藏情景挖掘和超网—子网映射模型演化,探索边端智能部署通用增效方案。
分布式训练和联邦学习一直是研究的热点。为了提升分布式训练效率,郭教授团队提出CrowdLearning框架,聚焦于分布式感知数据分发和模型层次化分配,在达到相同精度的条件下取得了低时延、低通信开销的优势;当下的联邦学习逐渐由“单中心—多客户”的经典架构发展为多移动边缘网络,设备可以在独立的边缘网络之间移动,此时的挑战在于如何实现跨网络的联邦持续学习。郭教授团队提出Cross-FCL框架,具有跨边缘知识的迁移策略与聚合模式,成功实现了联邦学习与持续学习的融合。
郭教授还向我们展示了CrowdHMT人机物融合群智计算开放平台,让我尤为印象深刻。该平台由西北工业大学智能感知与计算工信部重点实验室以及陕西省嵌入式系统技术重点实验室组织研发,对嵌入式智能计算的多种典型场景进行了系统实践并对关键内容开源,为相关工作者提供了良好的实践平台和交流社区,无疑对研究者共同探索构建“人-机-物协同融合”的未来智慧空间做出了巨大贡献。
总而言之,此次讲座使我受益匪浅,让我对整个嵌入式智能计算领域有了更为清晰的认识,我也非常荣幸能够在现场聆听郭教授的讲解。在日后的科研工作中,我也将保持好奇心与探索欲,努力学习前沿知识,尽微薄之力为自己的研究领域做出贡献!
Lecture 4:面向太空数据中心的卫星计算研究
学生张驰昂:2024计算机前沿技术的第二堂课,主题是“移动计算”,来自北京邮电大学的王尚广教授带来了题目为《面向太空数据中心的卫星计算研究》的报告,带我们认识了卫星计算这一研究领域,并介绍了这一领域研究和应用上的探索。
王教授首先从卫星系统与计算机系统的异同入手,介绍了卫星的基本知识。卫星平台虽然具有推动系统、姿轨控制系统等计算机系统所没有的子系统,却也有着通信系统、指令及数据处理系统等我们计算机专业研究者熟悉的名词,这启发我们用计算机专业的知识去赋能卫星科技的发展,是学科交叉的一个良好范例。
接下来,王教授指出了卫星计算研究的迫切性:相比于美国,我国的地面站数量较少,而随着用于遥感、监测等任务的卫星数量的持续增加,卫星产生的数据量已经超过了星地之间通信链路的承载能力,这就呼唤着数据在轨预处理技术等卫星计算技术的研究。
王教授进一步列举了卫星计算的几个子领域:星上计算、星间计算、星地计算和站地计算,并用一个顺口溜总结了这几个子领域存在的挑战:“星上计算多受限、星间计算多频繁、星地计算难透传、站地计算融合难”。王教授重点针对“星上计算多受限”分享了自己团队的研究探索:包括星载能耗优化、资源受限的对地目标检测、星地协同联邦学习训练架构以及星地数据融合的路网构建等。
此外,王教授还分享了卫星计算的应用探索,具体来说,介绍了星载5G核心网系统、云原生卫星平台和天算星座等多个世界领先成果。王教授重点强调:“地上千仿万算,不如星上跑一遍”,这也警示着我们在今后的研究工作中,要注重实践和实际操作,“get our hands dirty”,从现实中发现问题,然后解决问题。
最后,王教授介绍了关于卫星操作系统、太空服务器等近期工作,并表达了“让卫星变成带翅膀的计算机”的美好愿景,希望祖国“天上有星,地上有站,中间有智算”。王尚广教授的这次讲座,让我见识到了计算机技术与卫星技术的融合,让我对移动计算和多学科交叉有了更深的认识。随着信息时代的不断发展,数据正在以前所未有的速度增加,卫星计算等边缘计算技术能够有效缓解通信瓶颈等问题,必将大有可为。
Lecture 5:异构化内存系统的发展:机遇和挑战
学生郑阳:2024年10月19日下午,我有幸聆听了华中科技大学廖小飞教授的学术报告《异构化内存系统的发展:机遇与挑战》。廖教授的报告内容涵盖了异构内存系统的演进历程、架构设计、研究现状及未来发展方向。
廖教授首先从内存系统的基本概念出发,强调了内存系统在人工智能、大数据和云计算等领域的重要性,并指出其在国际科技竞争中的战略地位。他详细分析了传统内存系统面临的多重局限性,例如:DRAM的易失性、存储密度的限制和能耗问题。尤其是在大数据和人工智能应用场景下,这些问题进一步加剧了内存墙的瓶颈效应,限制了计算能力的发挥。廖教授强调,随着新兴应用对内存容量和性能的需求不断提升,异构内存的融合和分布式扩展成为解决内存容量危机的必由之路。
在报告的核心部分,廖教授深入解析了异构内存系统的架构与学术界和工业界的研究进展。他首先介绍了持久化内存的特性,并通过与DRAM的对比,进一步阐明了异构内存系统的基本架构。他总结了学术界的四个主要研究方向:(1)DRAM-NVM层次化和并行化的异构架构;(2)持久化内存在事务性数据库等存储系统中的应用;(3)异构内存系统的性能优化;以及(4)在异构内存环境下的数据管理策略。在工业界层面,廖教授提及了英特尔傲腾持久内存的技术优势,尽管该产品已停产,但国内外仍在积极推进下一代非易失性内存设备的研发。
针对异构内存系统的局限性,廖教授指出了四大挑战:架构灵活性不足、系统软件栈开销大、编程模型复杂,以及分布式内存池数据一致性维护的高开销。为应对这些挑战,他分享了课题组的研究成果,包括时延感知的缓存替换策略、异构内存感知的NUMA机制、异构化内存文件系统、持久内存编程模型及基于RDMA的无中心池化分布式内存架构,这些研究为提高异构内存系统的效率和灵活性提供了新的思路。
廖教授认为展望未来,基于CXL高速互连总线的新型互连技术将是异构内存系统的关键突破点。这种新型互连技术有望推动数据中心计算模式的变革,实现GPU、CPU、FPGA之间的对等计算,进而促进以数据为中心的计算模式。然而,CXL设备的研发仍处于起步阶段,目前大多数设备停留在CXL1.1阶段,CXL2.0内存池系统也才刚刚起步,虽然如此,其巨大的潜在应用价值已经初步显现。
通过此次学术报告,我对异构内存系统的现状及未来有了更清晰的理解。这为我今后的研究提供了新的思路,使我意识到内存系统的架构创新将是未来突破计算瓶颈的关键路径之一。
Lecture 6:超智融合环境下典型省域算网构建关键技术与实践
学生钟朝宇:在2024年10月19日下午,湖南大学的唐卓教授为我们带来了一场题为“超智融合环境下典型省域算网构建关键技术与实践”的讲座。整个讲座围绕省域算力网络的构建展开,涵盖了相关背景、关键技术、应用场景与未来展望,为我们呈现了省域算网的全貌。
唐教授从疫情期间二维码系统的响应延迟问题引入,指出传统单一数据中心无法应对激增的用户访问量。这反映了当前算力需求的普遍性以及算力孤岛问题的严重性。面对这些挑战,唐教授强调,需要建立跨区域的算力资源调度机制和高效的算力对接平台,以提高算力利用效率。
在讲解算力网络的总体架构时,唐教授深入剖析了其核心模块与关键技术。算网的总体架构由一套综合管理与算力调度系统构成,该系统上承算力公共服务,下接算力资源与各类云服务,能够高效分配用户的算力请求至计算集群,从而实现任务的快速处理。唐教授指出,算网的核心目标在于实现算网融合、数据协同与供需平衡。为实现这一目标,算力网络采用了一系列关键技术。首先,在性能优化与任务调度方面,基于任务、资源和数据的调度模型,算网提升了整体性能,实现了云网协同。其次,在资源管理与弹性调度方面,算网通过灵活的调度机制构建了省域算力互联网络,确保了资源的高效管理。此外,在并行处理与大模型训练中,算网通过分布式计算技术和联邦学习架构,实现了跨中心的数据流并行处理及大模型的高效训练。最后,为了保障系统的安全性和数据溯源性,算网采用了严格的数据控制、可信身份认证和安全沙箱等措施。
唐教授展示了湖南省算网调度与管理平台的建设成果,强调了其在算力市场、AI社区和算力运营等方面的功能创新,并提出算力网络的未来发展方向。他认为,算网的深度融合与AI技术的结合,将推动区域算力的协同调配,支撑智慧城市和智慧医疗的发展。
整场讲座内容充实、逻辑清晰,让我们对省域算网的关键技术和发展前景有了更深的理解。省域算网的建设有望解决算力孤岛问题,推动算力的高效调配和按需供应,成为智能社会的基础设施之一。
Lecture 7:机器学习/深度学习的方法论原理
学生李嘉佳:2024年10月26日下午,我有幸聆听了来自西安交通大学的孟德宇教授关于“机器学习/深度学习的方法论原理”的精彩讲座。孟教授的研究聚焦于机器学习的基础问题,凭借丰富的学术经验和深刻见解,他为我们深入剖析了机器学习与深度学习的基本方法论,阐述了这些方法随时代演变的过程,使我受益匪浅。
孟教授首先概述了机器学习的起源与发展。他指出,机器学习作为人工智能的重要分支,近年来迅速发展成为现代科技的核心力量。从最初的符号主义、连接主义与行为主义等学派逐渐发展至如今的数据驱动模式,连接主义思想对神经网络研究的影响尤为重要。通过对神经元结构的模仿,研究者逐步构建了能够学习复杂模式的神经网络,为现代机器学习奠定了基础。
接下来,孟教授介绍了机器学习的三种学习模式:演绎性学习、归纳性学习和超越性学习。演绎性学习基于已有知识解决新问题,归纳性学习通过观察外部世界总结新知识,而超越性学习则是创造性地总结出新理论的能力。孟教授举例说,数学、哲学等科学理论正是通过超越性学习发展出普遍适用的知识,这一过程也是人类知识积累的重要动力。
此外,孟教授进一步探讨了"知"与"在"的哲学关系。在机器学习的背景下,"在"代表客观世界的数据,如图像和文本,"知"则是对这些数据的抽象和理解。如何将复杂的数据转换为机器可以理解的抽象知识是机器学习的核心挑战。模型与算法是完成这一转化的重要工具,模型是知识的抽象表示,而算法则是从数据中提取模式并将之转化为知识的路径。
随后,孟教授讨论了深度学习的崛起与突破。他提到,深度学习的迅速发展主要得益于数据规模与计算力的增长。2012年,深度神经网络模型AlexNet在ImageNet比赛中的表现标志着深度学习的革命性进展。深度学习的多层神经网络结构使得模型能够深入学习复杂的数据特征,但也带来了过拟合等挑战。为解决这些问题,研究者引入了Dropout和正则化等方法,以提升模型的泛化能力。
在讲座的最后,孟教授总结了现代机器学习的四大核心要素:数据、模型、算法和算力。数据是基础,模型是抽象,算法是方法,算力则是支持模型训练的硬件资源。他特别提到GPU的普及对深度学习发展的推动作用,并强调开源软件如TensorFlow和PyTorch降低了研究门槛,使得更多研究者能参与到机器学习研究和应用中。
孟德宇教授的这次讲座,让我对机器学习和深度学习的基础方法论有了更加清晰的认识,也让我看到了这一领域的未来挑战与机遇。特别是在模型的解释性与泛化能力方面,未来的研究充满了创新的可能性。作为一名研究生,我将以此次讲座为契机,继续深入学习机器学习原理与方法,努力为这一快速发展的领域贡献力量。
Lecture 8:智能眼科图像处理
学生房云鹏:在2024年10月26日计算机前沿技术课程的第二讲,来自南方科技大学的刘江教授为我们带来了一场题目为“智能眼科图像处理”的讲座,详细地探讨了如何利用先进的人工智能技术改善眼科疾病的诊断和治疗,不仅提高了我们对人工智能技术在眼科方面的应用的认识,也对我们的学习和未来发展提供了宝贵的建议和指导。
刘教授首先分享了他对当前眼科诊疗现状的看法,指出了医疗图像处理在实际应用中的挑战。特别是对于眼科图像来说,由于其直接关系到患者的视力健康,因此算法的精确度要求极高,容错率极低。接着,刘教授介绍了他们团队开发的一套系统,该系统能够自动判断患者是否患有白内障,以及病情的具体位置和严重程度。通过这一系统,医生可以更加准确地制定手术方案,从而提高手术的成功率。
随后,刘教授讨论了使用机器人进行眼科手术的可能性。他提到,在现代医学中,尤其是眼科领域,机器人已经被广泛应用,它们不仅提高了手术效率,还减少了人为因素导致的风险。然而,要实现完全由机器人执行复杂的眼科手术,仍面临着诸多关键性挑战,如术前详尽检查的重要性、机器人的精准控制能力等。刘教授强调,除了手术过程本身,术前准备及术后恢复也至关重要,需要综合考虑以确保最佳治疗效果。
此外,刘教授还提到了眼脑联动的概念,指出眼睛和大脑之间存在着紧密联系,研究者们正在探索通过观察眼部变化来预测或监测神经系统疾病的方法。例如,阿兹海默症的一些早期迹象可能在视网膜上显现出来。这种跨学科的研究方法为理解神经退行性疾病提供了新的视角。
在互动环节,同学们积极提问,涉及从技术细节到未来职业规划等多个方面。针对如何克服医疗图像处理落地难的问题,刘教授表示这不仅仅是一个技术难题,更需要科研人员拥有迎难而上的精神。关于研究生阶段的学习与未来发展,刘教授鼓励大家根据个人兴趣做出选择,无论是投身产业界还是继续深造于学术界,最重要的是找到自己真正热爱的方向并为之努力。
总之,整个讲座内容丰富,既有深入浅出的技术讲解也有对未来趋势的展望,使我们受益匪浅。通过这次讲座,我们对智能眼科图像处理有了更深刻的理解,同时也认识到将AI应用于医疗领域的巨大潜力。此次讲座让我受益匪浅,在今后的研究生活中,我将继续学习前沿的知识和技术,并为推动科技进步贡献自己的力量!
Lecture 9:从卫星互联网安全到卫星物联网安全
学生汤文聪:在2024年11月2日的下午,电子科技大学的张小松教授为我们带来了一场关于“从卫星互联网安全到卫星物联网安全”的精彩讲座。
讲座伊始,张小松教授为我们介绍了卫星互联网的起源与发展。卫星互联网的起源最早可以追溯到上世纪60年代的美国。自卫星互联网被提出以来,卫星互联网不断发展,目前,全球范围内已经有多个国家和地区布局卫星互联网。例如,美国的SpaceX、亚马逊等公司纷纷投入巨资建设卫星互联网星座。自2020年卫星互联网被纳入“新基建”范畴以来,我国的相关产业也迎来了快速发展的黄金时期。然而,与卫星制造和发射环节的技术竞逐相比,卫星互联网的安全问题却常常被忽视,这不禁让人深感忧虑。
接着,张小松教授介绍了卫星物联网这一新型网络。作为能够完成向地面和空中终端提供宽带物联网接入等通信服务的重要工具,卫星物联网具有广覆盖、宽带化、低时延、低成本等突出优点,因此也成为了国内市场发展的焦点。在交通、油气、应急响应等诸多领域,卫星物联网都展现出了广泛的应用前景。然而,随着卫星物联网产业的快速发展,其安全问题也日益凸显,成为了人们关注的焦点。
张小松教授还详细阐述了卫星互联网与卫星物联网面临的安全威胁。从运行结构上看,这些威胁包括空间段、地面段、用户段和供应链等多个方面。而在技术层面,这些威胁又可进一步扩展为物理设施威胁、通信链路威胁、计算机系统与网络安全威胁、数据安全威胁以及业务应用安全威胁等五大类。这些威胁的存在,无疑给卫星互联网的发展带来了极大的挑战。接下来,张小松教授为我们介绍了包括供应链安全、通信链路安全、卫星物联网信息安全、固件安全在内的十种现在卫星物联网安全所面临的挑战。张小松教授强调,安全问题是大问题,特别是卫星物联网技术涉及军事领域、国家安全领域,我们更是不能掉以轻心。
通过聆听张小松教授的讲座,我深刻认识到了卫星互联网和卫星物联网在发展过程中所面临的安全挑战,令我受益匪浅。我将以此次讲座为契机,进一步深入了解卫星互联网和卫星物联网安全领域的相关知识,努力为这一领域的健康发展贡献自己的力量。
Lecture 10:软件智能漏洞检测与安全代码大模型
学生贺淼:2024年11月2日,我有幸聆听了来自华中科技大学的邹德清教授关于“软件智能漏洞检测与安全代码大模型”的精彩讲座。在报告中,邹教授介绍了软件供应链的相关概念,并通过分析我国的基础软件现状,阐述了开源的重要性以及软件供应链安全的重要性,并以此为起点向我们介绍了软件智能检测与防护的方法,让我们对于这方面的工作有了一定的了解。
邹教授首先从汽车供应链的问题出发,从传统燃油车和电动汽车的案例中,向我们说明了供应链的重要性,接着从各种角度告诉我们,什么是软件供应链、软件的重要性等等。接着,邹教授分析了我国基础软件的发展现状,指出我国国产操作系统产业基础薄弱,上下游产业链供给缺失,缺乏生态支持;我国基础支撑软件发展历史短,开源程度低、产品生态构建困难,市场占有率低等问题。随后,邹教授分析目前的国内外的开源社区生态,说明了开源对于软件供应链发展的重要性。
紧接着,邹教授讨论了软件供应链的安全风险,从两个角度来阐释这个问题。首先,由于开源社区开发者的水平参差不齐,可能会导致克隆代码的传播,漏洞的影响可能会被供应链指数级放大,Log4j2漏洞就是一个非常典型的案例;其次,这中间会存在一些法律风险,比如:版权风险、软件专利权等。邹教授强调了加强软件供应链安全的重要性。
在介绍智能漏洞检测和安全大模型时,邹教授先介绍了当前在数据驱动下利用智能技术实现精准漏洞检测的趋势,随后详细的解释了软件漏洞特征是如何自动学习的。首先选择候选区域,并分析其规律规则,从语法特征相关的角度,分析数据依赖和控制依赖,将得到的代码段作为输入来进行漏洞特征的学习。同时,邹教授探讨了该方法的可解释性,提出了基于启发式搜索的模型解释方法。最后,邹教授提出了简单、快速、有效的特征提取方法,使用机器学习模型来高效处理克隆的分类,并分析了其余分类方法的效果以及效率。
在这次报告的最后,邹教授介绍了安全大模型的背景及目前的研究进展,回顾了安全代码大模型的总体框架,以及面临的挑战和难点,并基于此提供了一些研究思路。邹教授在一点思考环节提出了一个深刻的问题——创新研究的落地,给我们很大触动。
邹教授的这次讲座内容丰富,既有深入浅出的技术讲解也有对未来趋势的展望,让我们对于国内软件的发展现状和软件供应链有了更加清晰的认识。通过给我们展示了软件漏洞智能检测的方法,我们对于漏洞特征的自动学习有了一定的了解。总而言之,此次讲座对我来说受益匪浅,在今后的研究生活中,我将保持前沿的知识技术的学习热情,为推动网络信息安全的进步贡献自己的力量!
Lecture 11: 网络空间智能对抗现状与策略
学生王佳豪:在2024年11月9日的下午,西北工业大学的王震教授为我们带来一场关于“AI驱动的网络空间智能对抗”的精彩讲座。
讲座伊始,王震教授为我们介绍了什么是网络空间和智能对抗。网络空间层次可分为地理层、物理基础设施、逻辑层、网络人格和身份,而网络空间的对抗形式整合为物理域、信息域和认知域。随着智能对抗不断演进,在传统对抗形式的基础上演变出功能性智能、对抗性智能和博弈性智能,从人与人的对抗、人与AI的对抗、AI与AI的对抗到智能系统的对抗。
接着,王震教授介绍AI对抗中的认知域对抗技术。认知是处理、理解和使用信息的方式,而认知存在的信息过载、偏差和漏洞等问题就是认知域的安全问题,这将扰乱经济发展、社会稳定和国家安全。现在存在非常多的认知域AI技术滥用,诸如gpt的泛滥、AI深度伪造和社交机器人等。王震教授还介绍了信息域和物理域中的技术对抗,如账号窃取、信息窃取、如震网病毒、训练样本投毒、侧信道攻击。
最后,王震教授介绍了他们的一项工作——互联网短视频内容理解与监测。随着互联网视频平台的飞速发展,违法违规的短视频越来越泛滥,而平台的推荐算法也是危机重重。王震教授介绍他们使用多模态大模型分析短视频的文本、音频和视频信息,获得信息并进行融合,对短视频进行分类处理。这将有助于短视频内容检测、舆情监测等。
通过聆听王震教授的讲座,我深刻认识到网络安全已经发展到新的阶段。不仅仅是AI的隐私问题,还有社交机器人、网络认知攻击等。这些内容令我受益匪浅,我将以此次讲座为契机,进一步深入了解网络空间智能对抗的相关知识,努力为这一领域的健康发展贡献自己的力量。
Lecture 12:数据驱动的复杂系统预测和推理
学生徐雅薇:2024年10月9号下午,我有幸聆听了来自同济大学的严钢教授关于“数据驱动的复杂系统预测和推理”的讲座。严教授的研究集中在复杂系统的建模与推断方法上,他为我们深入解析了数据驱动的复杂系统推理和网络化动态系统的基本原理。通过严教授的精彩报告,我对复杂系统的预测与演化有了更加全面的认识,受益匪浅。
复杂系统作为理解现实世界的重要途径,其特征在于系统内部的各个节点之间存在着复杂的相互作用,且这种作用常常通过多层次、多维度的关系进行传递和反馈。正因为节点之间的交互方式多样,复杂系统通常呈现出涌现性、非线性和自组织等特性,导致系统的整体行为难以通过简单的单个因素来解释。
在现代科学研究中,复杂系统的建模和分析一直是一个挑战,但随着网络科学和大数据技术的快速发展,研究人员能够从不同角度对复杂系统进行深入探讨。特别是,网络结构特征、节点动态时间序列等大量的实际观测数据为复杂系统研究提供了前所未有的机会。通过对这些数据的深入分析,研究者可以推断出系统的隐含规律,赋能科学推理,并进一步通过预测未来状态为科学预测提供理论和数据支持。
在讲座中,严教授首先介绍了传统的因果网络推断方法,包括格兰杰因果、传递熵和贝叶斯网络等。这些方法长期以来在因果推断领域取得了显著成果,然而,随着网络规模的扩大和数据复杂性的增加,传统因果推断方法逐渐面临一些挑战。随着网络节点数量的增加,系统复杂度大大提升,传统方法往往难以有效处理高维数据。
在这种背景下,严教授提出了一种新的思路——引入时域注意力机制来改进因果网络推断。这一机制通过对时间序列数据进行预处理,引导推理算法重点关注时间序列中可能表现出因果耦合效应的关键区间。传统方法通常在整个时间序列上均匀地进行分析,而时域注意力机制则能够根据数据的变化动态地选择关注区域,特别是那些可能引发因果关系变化的时段。这种方法不仅能有效避免噪声的干扰,还能够捕捉到系统中的关键时刻和潜在的因果转折点,从而提升因果推断的准确性和鲁棒性。
为了更好地理解复杂网络行为,严教授提出了一种基于网络拓扑和节点状态数据的网络化随机动态系统推理模型。这个模型能够处理耦合的随机微分方程,捕捉节点之间的动态相互作用,对整个网络的行为进行建模。实验结果表明,该模型能够有效地模拟和预测鸟群的动态变化,精准预测鸟群在复杂环境下的集体行为模式,效果显示了该方法在实际应用中的潜力。
在讲座的最后,严教授深入讨论了复杂系统的相变与临界现象,强调了这一领域在科学研究中的重要性,提出了一种基于数据驱动的复杂系统突变点预测的新思路。由于复杂系统中的突变通常是稀有事件,其发生频率较低,导致实际系统中用于训练的数据极为有限,这就给传统的基于数据的预测模型带来了挑战。严教授提出,可通过大量的模拟数据进行预训练,利用模拟数据的丰富性来捕捉系统中突变点出现的潜在规律,进而提升预测模型的性能。
总的来说,复杂系统研究中的数据驱动方法为我们提供了新的理解视角和技术手段。未来,随着计算能力的不断提升和数据资源的进一步积累,复杂系统的研究将进一步深入,推动科学技术的进步,创造更多的应用机会和创新可能。
Lecture 13:混合模型驱动的具身智能
学生杨旭滨:2024年11月16日,浙江大学的杨易教授给我们上了一节生动精彩的课,主题为“混合模型驱动的具身智能”这一前沿领域。杨教授为我们介绍了具身智能的发展历史和研究现状,并结合了当下的大模型背景,深刻分析具身智能主要研究方向与挑战,探讨了具身智能未来的发展趋势与应用前景。
杨教授首先介绍了“知识表达”的演变,从传统的专家构造描述子到今天的可学习的智能表达,虽然表达能力得到了增强,但伴随着解释能力的减弱。这提醒我,在大模型时代,我们虽然追求通用性和强表征能力,但也要警惕其可能带来的“黑箱”问题。通过将视觉知识、符号知识与深度表征结合的“多重知识表达理论”,或许可以在表达能力和可解释性之间找到一个平衡点。
接着杨教授为我们介绍了混合模型驱动的智能计算。杨教授提到的大小模型协同以及数据知识双轮驱动的思路非常具有启发性。大模型的通用性与小模型的专用性在实际场景中可以相互补充,特别是在动态复杂的任务中,例如具身导航或多智能体协作。数据知识双轮驱动的概念也非常有前瞻性,通过融合知识预测结果和数据驱动的能力,增强了智能系统的鲁棒性和可解释性。这让我意识到未来智能系统的发展不只是单一技术的突破,而是各种优势模型协同的结果。
之后杨教授给我们介绍了何为具身智能以及具身智能的应用场景。具身智能的核心是通过感知、推理和行动来解决问题。课程中强调了身心一体、主动感知和注重体验的特点,让我更清晰地理解了智能体与环境交互的重要性。这种“具身”不仅仅局限于物理上的感知和运动,更包括与环境的深层语义交互和体验积累的能力。课程中还举了一些实际案例如“基于场景感知-决策模型混合驱动的具身导航”和“Video Agent——哆啦A梦GPT”,并通过视频展示了科学实验辅助、博物馆导览以及智能运动健身三个实际应用。让我看到,具身智能在机器人学、无人驾驶、教育、医疗等领域已经展现了广阔的应用前景。这些案例反映了理论在具体场景中的实践,也提醒我们思考,如何才能将这些技术更好地与社会需求对接。
总之,混合模型驱动的具身智能是一种结合通用性与专用性、经验与数据的新范式。这不仅仅是技术上的挑战,也是人类对人工智能理解与应用的新思路。我期待未来能看到更多在实际场景中实现具身智能的创新成果,同时希望有机会参与到这一领域的实践中去。
Lecture 14:脑机接口信号处理与分析
学生曾宇杰:2024年11月16日下午,我有幸聆听了来自中国科学技术大学信息科学技术学院的陈勋教授关于“脑机接口信号处理与分析”的讲座。陈教授的演讲围绕神经生理信号分解、信号失联与信号融合三个研究方向展开,通过细致的讲解和前沿工作的分享,让我对这一领域的理论方法与实际应用有了更加深入的认识,尤其在脑电信号预处理、伪迹去除以及多模态融合等关键技术上,收获颇丰。
在神经生理信号分解这部分,陈教授详细阐述了现有脑电预处理方法的特点与局限,尤其是在多类别伪迹去除和动态场景下的应用问题上,深入分析了其面临的挑战。还给我们介绍了两种新的方法:动态联合直源分离算法和面向移动SSVEP脑机接口的肌电伪迹除去方法。这些研究不仅为脑电信号预处理提供了强有力的技术支持,也表明这一领域正向更加精准、场景化和高效的方向发展。
关于信号失联的部分,陈教授从国际天普癫痫赛事的背景出发,探讨了脑电信号在实际应用中可能面临的断连或缺失问题。这一部分不仅涵盖了计算效率与信号完整性之间的权衡,还延伸至未标注数据的半监督学习、模型的可解释性与泛化性等核心问题,尤其是针对对抗攻击的讨论,让我意识到神经生理信号在安全性与鲁棒性上的潜在风险。此外,临床应用场景中的讨论,例如如何提升计算效率、应对未标注数据的难题,也让我看到了脑机接口技术真正落地时需要解决的复杂现实问题。
在信号融合部分,陈教授简要介绍了融合不同神经信号的必要性与意义。通过多模态信号的优势互补,融合技术不仅提升了神经生理信号的解码精度,也为实际应用带来了更大的可能性。特别是在脑网络分析和脑区划分中的应用展示,让我感受到信号融合在揭示脑功能机制和脑疾病研究中的巨大潜力。同时,我也认识到信号融合技术在多模态数据同步、计算复杂度控制等方面的技术挑战。
通过本次讲座,我不仅了解到神经生理信号处理领域的最新进展,也对这一领域的挑战有了更清晰的认识。从伪迹去除到信号失联,再到多模态融合,研究者们在追求更高效、更精准的信号处理方法的同时,也不断扩展神经生理信号的应用边界。同时让我对脑科学与人工智能的结合有了更深的理解,也让我更加期待未来该领域的新突破。
Lecture 15:卫星物联网传输与计算技术
学生王奕辉:2024年11月23日,我们有幸聆听了孔令和教授关于“卫星科创 新宇征程”的精彩学术报告。在报告中,孔教授以其丰富的研究经验和深刻的洞察力,为我们展现了天基物联网与卫星智能计算的研究现状与前沿发展。通过深入剖析对核心概念、关键技术和未来方向的,他不仅为我们揭示了卫星科技的广阔前景,也启发了我们在科研探索中的新思路。
孔教授从天基物联网的研究背景切入,详细地介绍了低轨道卫星作为物联网网关的独特优势。如今卫星物联网的研究拓宽了网络传输的有效范围,为偏远地区的信息采集提供了可能性。孔教授深入分析了宽带与窄带卫星的特点,特别指出窄带卫星因其低成本和适配偏远地区少量数据收集需求而成为关键解决方案。这一思路启发了我们在科学研究中,核心在于解决问题与实际场景的高度匹配,而非单纯追求性能最优。针对星地通信的距离挑战,孔教授提出了线性调频扩频技术的应用,并通过调整扩频因子来有效延长通信距离。孔教授进一步阐述了卫星通信载荷硬件的可重构性与自主微操作系统的创新思想,即如何在技术开发中通过软硬结合来降低试验成本与技术风险。此外,孔教授提到利用火箭末子级开展多类型空间任务的设想,提出了高效利用太空资源的新思路。
在卫星智能计算领域,孔教授为我们详细分析了国内外技术的差距与潜力。他以基础设施、遥感星座、星载计算、智能遥感四个维度进行对比,特别指出国内地面站尤为稀缺的短板,为我国卫星科技的发展提供了明确的方向。另外,孔教授还为我们梳理了五个可选的研究方向:星载人工智能芯片研发、星地协同计算、物联网数据上行增强、红外视频卫星移动目标检测和星载轻量级空间态势感知。这些研究方向都蕴含着广阔的研究价值,深刻地启发了同学们对卫星智能计算未来潜力的思考。
在交流环节中,孔教授耐心解答了关于星地通信与地面通信的主要差异问题。他指出星地通信因其动态拓扑的高速变化,容易导致通信不畅。此外,他还分析了星地通信抗干扰能力的挑战:激光通信容易受到云层遮挡的影响,而无线电波通信则可能遭遇近地信号的干扰。孔教授没有回避这些技术难题,而是以务实的态度为同学们讲解目前卫星通信功率有限、算力不足等技术难点。
在本次报告中,孔教授为我们揭开了卫星智能计算领域的一角,让我们深刻感受到科研的广阔视野与肩上的责任。我由衷敬佩像孔教授这样致力于开拓前沿科技的科学家,并希望在未来的学习与研究中,能以他的探索精神为榜样,脚踏实地,仰望星空。希望以后可以见到中国卫星智能计算腾飞的一日。
Lecture 16:生成式AI赋能通信网络
学生金熙润:2024年11月23日下午,杨鲲教授以“生成式AI赋能通信网络”为主题,为我们带来了一场精彩的学术讲座。本次讲座系统展现了生成式AI在通信网络中的代表性应用,包括基于端到端设计的物理层内生智能、生成式语义通信、生成式数字孪生网络以及联邦学习等前沿领域。这些内容充分展示了生成式AI与通信技术结合所带来的广阔前景。
讲座伊始,杨教授从移动通信系统的演进谈起。他回顾了2G到4G阶段通信技术的主要目标是实现人与人之间的交流,而5G技术则进一步扩展到人与物、物与物之间的通信。展望未来,6G技术的目标是实现覆盖全场景、全频段和全服务的通信网络,使通信能够覆盖海陆空乃至宇宙。随后,杨教授提出了一个发人深省的问题:如何构建未来的移动通信网络?他的答案是通过6G内生智能,以人工智能技术赋能未来的移动通信网络。由此,讲座切入正题,围绕生成式语义通信、生成式数字孪生网络以及生成式AI辅助的无线联邦学习三大方向展开。
在生成式语义通信部分,杨教授剖析了当前通信物理层面临的两大挑战:模块化设计难以实现全局优化,同时编码压缩与信道编码冗余之间的固有冲突。他提出了一种突破传统通信模式的新思路,即利用生成式AI为不同应用场景提供定制化支持,实现万物互联。不同于传统以数据精确传输为目标的通信方式,生成式语义通信更加关注信息的语义准确性,通过生成式AI技术实现信息的高效压缩与传递。这种以语义驱动为核心的通信模式,展现出了成为未来通信技术主流的巨大潜力。
随后,讲座聚焦于生成式数字孪生网络。杨教授强调,作为5G技术的重要应用之一,数字孪生网络的性能可以通过生成式AI得到显著提升。他详细阐述了生成式数字孪生网络如何结合实时感知、预测与优化技术,动态映射物理世界,并在此基础上实现智能化决策与模拟。通过生成式AI技术,网络能够高效构建物理系统的数字副本,降低信道测量成本,提高效率并减少响应延迟。这些内容让我对数字孪生技术在复杂环境中的应用前景有了更深的理解。
在探讨无线联邦学习的环节,杨教授分析了当前联邦学习面临的标签稀缺、数据分布不均以及缺乏可解释性等挑战。他提出,生成式AI在这一领域展现出独特优势,例如通过生成式模型学习无标签数据的潜在特征,并利用知识蒸馏提升本地模型的学习效果。这些创新有效缓解了数据稀缺与隐私保护等问题,也让我深刻认识到生成式AI在边缘计算与分布式智能中的潜力。
讲座最后,杨教授重申,6G内生智能是通信技术未来发展的必然趋势,而生成式AI将是其中的重要使能工具。这场讲座逻辑清晰、内容丰富,既展示了通信技术与生成式AI结合的最新研究成果,也对未来的研究方向和实际应用提出了宝贵建议。不仅让我感受到生成式AI在通信技术革新中的重要性,也更加坚定了探索AI与通信技术结合的信心和动力。
Lecture 1:从Science for Al 到 Al for Science: 人工智能与基础科学的“双重奏”
学生余星耀:2024年的计算机前沿技术课程,是由来自北京大学的田永鸿教授担任第一讲。他以《人工智能与基础学科的“双重奏”》为主题,引领我们深入探索AI这一领域。
田永鸿教授首先为我们勾勒出全球AI大模型发展的壮阔图景。近年来,AI大模型以惊人的速度成长,其模型参数规模持续膨胀。与之并行的是,这些模型在不同领域的实际应用中展现出了非凡的成效。然而国内AI发展的步伐并未完全跟上国际节奏。一方面,中国在AI领域的投入依然略显不足;另一方面,作为AI发展基石的“算力”问题,尤其是显卡供应,长期受制于美国。尽管如此,田教授也分享了积极的一面,指出国内以华为为代表的企业与各类研究机构也在积极寻求突破算力封锁的路径,其中,“鹏城云脑”作为云计算与人工智能融合的典范,尤为引人注目。
田教授的讲述揭示了一个明显趋势:近年来,由于资金与计算资源的限制,国内外的AI发展愈发由企业主导。基于此,田永鸿教授在接下来的讲座中深入剖析了一个核心议题:在当前背景下,高校如何为AI研究贡献力量?
面对资金与硬件的双重约束,高校需另辟蹊径, “Science for AI”理念便是一剂良药。他特别强调了脉冲神经网络(SNN)这一在生物学意义上更能模仿人脑的模型。田永鸿教授首先向我们概括性的回答了“脉冲神经网络是什么?”的问题——SNN比起普通的神经网络进一步模仿了人脑使用脉冲信号作为传播信号的运行机制,因此具有低功耗的特点。田教授深入剖析了两种模拟人脑神经元运作机制的模型:LIF模型与HH模型,并详细阐述了SNN在算法与应用层面的最新进展。尤为振奋人心的是,田教授指出,大规模SNN的性能瓶颈已近乎攻克,为我们这些新晋研究生在SNN研究领域提供了广阔的施展空间。
除了“Science for AI”这条路外,田教授还前瞻性地指出,“AI for Science”是一个更为高瞻远瞩且适合高校探索的方向。虽然“AI for Science”这个方向还处于刚起步的阶段,但已涌现出如AlphaFold等通过AI解决生物医学方面问题的突破性成果。因此,作为高校研究生,若能将AI技术应用于其他领域,特别是解决数据复杂且密集的科学问题,无疑是一个极具前瞻性的研究路径。
田永鸿教授的这次讲座,不仅让我对AI大模型领域的发展现状有了更清晰的认识,也为我揭示了AI未来的发展方向。特别是在脉冲神经网络方面,当前AI大模型的发展日益偏向于参数量的堆砌,而对轻量化与小型化的重视不足。在此背景下,SNN因其采用脉冲信号作为信号传播方式而天然具备轻量化的优势,预示着在未来可穿戴智能设备等新兴领域可能拥有广阔的应用前景。
Lecture 2:多模态融合与交叉学科创新
学生熊浩然:2024年9月21日下午,我有幸聆听了哈尔滨工业大学俞俊教授关于“多模态融合与交叉学科创新”的学术报告。在报告中,俞教授介绍了多模态技术的现状与发展,并通过多模态技术+医学图像的典型案例,阐释了“多模态融合与交叉学科创新”这一领域的发展趋势,为我们的研究生涯和科研工作提供了深刻见解和宝贵经验。
俞教授从多模态技术开始介绍,剖析了多模态分析所面临的数据特征与实际需求之间的矛盾与挑战,并简要说明了典型的多模态任务,如图像-文本搜索、视觉描述、视觉问答及视觉导航等。他进一步阐述了常见的视觉、语言等多模态特征表示技术及多粒度特征融合技术,使我们对多模态的发展、概念及技术有了初步且全面的理解。
针对多模态学习和推理的具体研究,俞教授强调了Transformer在多模态推理中的卓越能力,并详细介绍了三种多模态学习方法。具体而言,多模态多任务学习通过共享的Transformer特征提取模块,配合参数独立技术适配不同任务,但可能面临训练困难和灾难性遗忘等问题;多模态神经架构搜索则针对特定任务,通过搜索获得轻量化模型,但可能牺牲部分性能;多模态预训练则在综合性能上表现最佳,但其训练和部署的计算开销较大。此外,俞教授还介绍了一种创新的方法,即利用任务相关的小模型为大模型提供答案启发,从而进一步提升了基于知识的多模态推理能力。这一系列深入浅出的讲解,为我们揭示了多模态技术的核心与前沿,并激发了我们对特征对齐与融合的新思考。
对于多模态技术如何与交叉学科进行创新研究,俞教授以医学图像报告生成领域为例向我们介绍了他的见解。他将多模态分析应用于医学图像报告生成领域,重点展示了细粒度医学影像-文本语义对齐方法及跨模态思维链推理流程。通过生动的演示,他展示了如何逐步定位病变位置并生成医学报告,这一应用极大地提升了临床诊断的便捷性,并有效降低了因疲劳导致的漏诊和误诊风险。同时,俞教授强调,多模态融合与交叉学科创新的研究应紧跟大模型时代的发展步伐。以医学交叉应用为例,该应用可以基于渐进式知识增强的多模态大模型研究范式,即通过在通用基座模型上进行专业领域微调,实现高效的多模态推理能力。这一观点激励我们科研工作者要与时俱进,勇于创新。
在报告过程中,俞教授还分享了项目开展过程中的宝贵经验,教导我们AI+专业领域的研究需要立足于对专业领域的了解,需要学生扩展学习其他专业知识。这一点令我感触颇深,为我开展AI+平面户型设计领域方向提供了启发与思路——扩展学习平面户型专业领域知识与平面户型设计流程,以专业知识启发研究。能够在研究初期就聆听到如此精彩的报告,我深感荣幸并受益匪浅。未来研究中,我将以专业知识为舟,以AI技术为桨,从专业领域获取启发与思路,解决专业领域痛难点问题,在科研与产业中砥砺前行!
Lecture 3:智能物联网系统
学生吕韬:2024年9月28日下午,西北工业大学的郭斌教授为我们带来了一场精彩的讲座,主题聚焦于“嵌入式智能计算”这一前沿领域,深入浅出地探讨了相关背景、现有挑战以及最新成果。郭教授的讲解清晰而精炼,不仅加深了我们对嵌入式智能的认识,同时也为未来的研究工作开辟了新的视野和思路。
郭教授首先向我们介绍了嵌入式智能计算的背景。随着时代发展,众多领域如智慧城市、公共安全、环境监测、军事国防等,对计算的时效性、隐私保护等方面提出了更高的标准。在这样的情境下,嵌入式智能系统的优势日益显著。与集中式的云计算不同,终端设备上的计算面临着环境动态变化、资源受限等难题,如何协调受限的资源供给与复杂任务需求成为了关键挑战。围绕这样的背景,郭教授向我们展示了一系列研究成果,并鼓励我们从多角度进行系统层面的思考与探索。
针对终端智能面对不同环境的自适应问题,郭教授向我们讲解了多变体自演化模型训练,以不同粒度进行自适应模型压缩,并采用一套联合训练策略,最终降低变体演化成本、灵活进行细缩放架构调节并提升搜索多样性;另一个设计是运行时的可伸缩算子融合,从计算图着手,将存在数据依赖的“生产者-消费者”算子按需融合,以达到算法与底层算子调度的跨层优化,从而减小计算与访存开销、提升实时性。
挖掘异构情景与模型性能的关联映射、实时选择最优推理模型,对于实际中的系统落地部署至关重要。为此,郭教授团队提出了AdaEvo框架,充分挖掘动态情景、资源与深度模型间的耦合作用机理,并设计自适应决策部署机制;紧密结合业界,与华为合作进行云—边—端协同潜藏情景挖掘和超网—子网映射模型演化,探索边端智能部署通用增效方案。
分布式训练和联邦学习一直是研究的热点。为了提升分布式训练效率,郭教授团队提出CrowdLearning框架,聚焦于分布式感知数据分发和模型层次化分配,在达到相同精度的条件下取得了低时延、低通信开销的优势;当下的联邦学习逐渐由“单中心—多客户”的经典架构发展为多移动边缘网络,设备可以在独立的边缘网络之间移动,此时的挑战在于如何实现跨网络的联邦持续学习。郭教授团队提出Cross-FCL框架,具有跨边缘知识的迁移策略与聚合模式,成功实现了联邦学习与持续学习的融合。
郭教授还向我们展示了CrowdHMT人机物融合群智计算开放平台,让我尤为印象深刻。该平台由西北工业大学智能感知与计算工信部重点实验室以及陕西省嵌入式系统技术重点实验室组织研发,对嵌入式智能计算的多种典型场景进行了系统实践并对关键内容开源,为相关工作者提供了良好的实践平台和交流社区,无疑对研究者共同探索构建“人-机-物协同融合”的未来智慧空间做出了巨大贡献。
总而言之,此次讲座使我受益匪浅,让我对整个嵌入式智能计算领域有了更为清晰的认识,我也非常荣幸能够在现场聆听郭教授的讲解。在日后的科研工作中,我也将保持好奇心与探索欲,努力学习前沿知识,尽微薄之力为自己的研究领域做出贡献!
Lecture 4:面向太空数据中心的卫星计算研究
学生张驰昂:2024计算机前沿技术的第二堂课,主题是“移动计算”,来自北京邮电大学的王尚广教授带来了题目为《面向太空数据中心的卫星计算研究》的报告,带我们认识了卫星计算这一研究领域,并介绍了这一领域研究和应用上的探索。
王教授首先从卫星系统与计算机系统的异同入手,介绍了卫星的基本知识。卫星平台虽然具有推动系统、姿轨控制系统等计算机系统所没有的子系统,却也有着通信系统、指令及数据处理系统等我们计算机专业研究者熟悉的名词,这启发我们用计算机专业的知识去赋能卫星科技的发展,是学科交叉的一个良好范例。
接下来,王教授指出了卫星计算研究的迫切性:相比于美国,我国的地面站数量较少,而随着用于遥感、监测等任务的卫星数量的持续增加,卫星产生的数据量已经超过了星地之间通信链路的承载能力,这就呼唤着数据在轨预处理技术等卫星计算技术的研究。
王教授进一步列举了卫星计算的几个子领域:星上计算、星间计算、星地计算和站地计算,并用一个顺口溜总结了这几个子领域存在的挑战:“星上计算多受限、星间计算多频繁、星地计算难透传、站地计算融合难”。王教授重点针对“星上计算多受限”分享了自己团队的研究探索:包括星载能耗优化、资源受限的对地目标检测、星地协同联邦学习训练架构以及星地数据融合的路网构建等。
此外,王教授还分享了卫星计算的应用探索,具体来说,介绍了星载5G核心网系统、云原生卫星平台和天算星座等多个世界领先成果。王教授重点强调:“地上千仿万算,不如星上跑一遍”,这也警示着我们在今后的研究工作中,要注重实践和实际操作,“get our hands dirty”,从现实中发现问题,然后解决问题。
最后,王教授介绍了关于卫星操作系统、太空服务器等近期工作,并表达了“让卫星变成带翅膀的计算机”的美好愿景,希望祖国“天上有星,地上有站,中间有智算”。王尚广教授的这次讲座,让我见识到了计算机技术与卫星技术的融合,让我对移动计算和多学科交叉有了更深的认识。随着信息时代的不断发展,数据正在以前所未有的速度增加,卫星计算等边缘计算技术能够有效缓解通信瓶颈等问题,必将大有可为。
Lecture 5:异构化内存系统的发展:机遇和挑战
学生郑阳:2024年10月19日下午,我有幸聆听了华中科技大学廖小飞教授的学术报告《异构化内存系统的发展:机遇与挑战》。廖教授的报告内容涵盖了异构内存系统的演进历程、架构设计、研究现状及未来发展方向。
廖教授首先从内存系统的基本概念出发,强调了内存系统在人工智能、大数据和云计算等领域的重要性,并指出其在国际科技竞争中的战略地位。他详细分析了传统内存系统面临的多重局限性,例如:DRAM的易失性、存储密度的限制和能耗问题。尤其是在大数据和人工智能应用场景下,这些问题进一步加剧了内存墙的瓶颈效应,限制了计算能力的发挥。廖教授强调,随着新兴应用对内存容量和性能的需求不断提升,异构内存的融合和分布式扩展成为解决内存容量危机的必由之路。
在报告的核心部分,廖教授深入解析了异构内存系统的架构与学术界和工业界的研究进展。他首先介绍了持久化内存的特性,并通过与DRAM的对比,进一步阐明了异构内存系统的基本架构。他总结了学术界的四个主要研究方向:(1)DRAM-NVM层次化和并行化的异构架构;(2)持久化内存在事务性数据库等存储系统中的应用;(3)异构内存系统的性能优化;以及(4)在异构内存环境下的数据管理策略。在工业界层面,廖教授提及了英特尔傲腾持久内存的技术优势,尽管该产品已停产,但国内外仍在积极推进下一代非易失性内存设备的研发。
针对异构内存系统的局限性,廖教授指出了四大挑战:架构灵活性不足、系统软件栈开销大、编程模型复杂,以及分布式内存池数据一致性维护的高开销。为应对这些挑战,他分享了课题组的研究成果,包括时延感知的缓存替换策略、异构内存感知的NUMA机制、异构化内存文件系统、持久内存编程模型及基于RDMA的无中心池化分布式内存架构,这些研究为提高异构内存系统的效率和灵活性提供了新的思路。
廖教授认为展望未来,基于CXL高速互连总线的新型互连技术将是异构内存系统的关键突破点。这种新型互连技术有望推动数据中心计算模式的变革,实现GPU、CPU、FPGA之间的对等计算,进而促进以数据为中心的计算模式。然而,CXL设备的研发仍处于起步阶段,目前大多数设备停留在CXL1.1阶段,CXL2.0内存池系统也才刚刚起步,虽然如此,其巨大的潜在应用价值已经初步显现。
通过此次学术报告,我对异构内存系统的现状及未来有了更清晰的理解。这为我今后的研究提供了新的思路,使我意识到内存系统的架构创新将是未来突破计算瓶颈的关键路径之一。
Lecture 6:超智融合环境下典型省域算网构建关键技术与实践
学生钟朝宇:在2024年10月19日下午,湖南大学的唐卓教授为我们带来了一场题为“超智融合环境下典型省域算网构建关键技术与实践”的讲座。整个讲座围绕省域算力网络的构建展开,涵盖了相关背景、关键技术、应用场景与未来展望,为我们呈现了省域算网的全貌。
唐教授从疫情期间二维码系统的响应延迟问题引入,指出传统单一数据中心无法应对激增的用户访问量。这反映了当前算力需求的普遍性以及算力孤岛问题的严重性。面对这些挑战,唐教授强调,需要建立跨区域的算力资源调度机制和高效的算力对接平台,以提高算力利用效率。
在讲解算力网络的总体架构时,唐教授深入剖析了其核心模块与关键技术。算网的总体架构由一套综合管理与算力调度系统构成,该系统上承算力公共服务,下接算力资源与各类云服务,能够高效分配用户的算力请求至计算集群,从而实现任务的快速处理。唐教授指出,算网的核心目标在于实现算网融合、数据协同与供需平衡。为实现这一目标,算力网络采用了一系列关键技术。首先,在性能优化与任务调度方面,基于任务、资源和数据的调度模型,算网提升了整体性能,实现了云网协同。其次,在资源管理与弹性调度方面,算网通过灵活的调度机制构建了省域算力互联网络,确保了资源的高效管理。此外,在并行处理与大模型训练中,算网通过分布式计算技术和联邦学习架构,实现了跨中心的数据流并行处理及大模型的高效训练。最后,为了保障系统的安全性和数据溯源性,算网采用了严格的数据控制、可信身份认证和安全沙箱等措施。
唐教授展示了湖南省算网调度与管理平台的建设成果,强调了其在算力市场、AI社区和算力运营等方面的功能创新,并提出算力网络的未来发展方向。他认为,算网的深度融合与AI技术的结合,将推动区域算力的协同调配,支撑智慧城市和智慧医疗的发展。
整场讲座内容充实、逻辑清晰,让我们对省域算网的关键技术和发展前景有了更深的理解。省域算网的建设有望解决算力孤岛问题,推动算力的高效调配和按需供应,成为智能社会的基础设施之一。
Lecture 7:机器学习/深度学习的方法论原理
学生李嘉佳:2024年10月26日下午,我有幸聆听了来自西安交通大学的孟德宇教授关于“机器学习/深度学习的方法论原理”的精彩讲座。孟教授的研究聚焦于机器学习的基础问题,凭借丰富的学术经验和深刻见解,他为我们深入剖析了机器学习与深度学习的基本方法论,阐述了这些方法随时代演变的过程,使我受益匪浅。
孟教授首先概述了机器学习的起源与发展。他指出,机器学习作为人工智能的重要分支,近年来迅速发展成为现代科技的核心力量。从最初的符号主义、连接主义与行为主义等学派逐渐发展至如今的数据驱动模式,连接主义思想对神经网络研究的影响尤为重要。通过对神经元结构的模仿,研究者逐步构建了能够学习复杂模式的神经网络,为现代机器学习奠定了基础。
接下来,孟教授介绍了机器学习的三种学习模式:演绎性学习、归纳性学习和超越性学习。演绎性学习基于已有知识解决新问题,归纳性学习通过观察外部世界总结新知识,而超越性学习则是创造性地总结出新理论的能力。孟教授举例说,数学、哲学等科学理论正是通过超越性学习发展出普遍适用的知识,这一过程也是人类知识积累的重要动力。
此外,孟教授进一步探讨了"知"与"在"的哲学关系。在机器学习的背景下,"在"代表客观世界的数据,如图像和文本,"知"则是对这些数据的抽象和理解。如何将复杂的数据转换为机器可以理解的抽象知识是机器学习的核心挑战。模型与算法是完成这一转化的重要工具,模型是知识的抽象表示,而算法则是从数据中提取模式并将之转化为知识的路径。
随后,孟教授讨论了深度学习的崛起与突破。他提到,深度学习的迅速发展主要得益于数据规模与计算力的增长。2012年,深度神经网络模型AlexNet在ImageNet比赛中的表现标志着深度学习的革命性进展。深度学习的多层神经网络结构使得模型能够深入学习复杂的数据特征,但也带来了过拟合等挑战。为解决这些问题,研究者引入了Dropout和正则化等方法,以提升模型的泛化能力。
在讲座的最后,孟教授总结了现代机器学习的四大核心要素:数据、模型、算法和算力。数据是基础,模型是抽象,算法是方法,算力则是支持模型训练的硬件资源。他特别提到GPU的普及对深度学习发展的推动作用,并强调开源软件如TensorFlow和PyTorch降低了研究门槛,使得更多研究者能参与到机器学习研究和应用中。
孟德宇教授的这次讲座,让我对机器学习和深度学习的基础方法论有了更加清晰的认识,也让我看到了这一领域的未来挑战与机遇。特别是在模型的解释性与泛化能力方面,未来的研究充满了创新的可能性。作为一名研究生,我将以此次讲座为契机,继续深入学习机器学习原理与方法,努力为这一快速发展的领域贡献力量。
Lecture 8:智能眼科图像处理
学生房云鹏:在2024年10月26日计算机前沿技术课程的第二讲,来自南方科技大学的刘江教授为我们带来了一场题目为“智能眼科图像处理”的讲座,详细地探讨了如何利用先进的人工智能技术改善眼科疾病的诊断和治疗,不仅提高了我们对人工智能技术在眼科方面的应用的认识,也对我们的学习和未来发展提供了宝贵的建议和指导。
刘教授首先分享了他对当前眼科诊疗现状的看法,指出了医疗图像处理在实际应用中的挑战。特别是对于眼科图像来说,由于其直接关系到患者的视力健康,因此算法的精确度要求极高,容错率极低。接着,刘教授介绍了他们团队开发的一套系统,该系统能够自动判断患者是否患有白内障,以及病情的具体位置和严重程度。通过这一系统,医生可以更加准确地制定手术方案,从而提高手术的成功率。
随后,刘教授讨论了使用机器人进行眼科手术的可能性。他提到,在现代医学中,尤其是眼科领域,机器人已经被广泛应用,它们不仅提高了手术效率,还减少了人为因素导致的风险。然而,要实现完全由机器人执行复杂的眼科手术,仍面临着诸多关键性挑战,如术前详尽检查的重要性、机器人的精准控制能力等。刘教授强调,除了手术过程本身,术前准备及术后恢复也至关重要,需要综合考虑以确保最佳治疗效果。
此外,刘教授还提到了眼脑联动的概念,指出眼睛和大脑之间存在着紧密联系,研究者们正在探索通过观察眼部变化来预测或监测神经系统疾病的方法。例如,阿兹海默症的一些早期迹象可能在视网膜上显现出来。这种跨学科的研究方法为理解神经退行性疾病提供了新的视角。
在互动环节,同学们积极提问,涉及从技术细节到未来职业规划等多个方面。针对如何克服医疗图像处理落地难的问题,刘教授表示这不仅仅是一个技术难题,更需要科研人员拥有迎难而上的精神。关于研究生阶段的学习与未来发展,刘教授鼓励大家根据个人兴趣做出选择,无论是投身产业界还是继续深造于学术界,最重要的是找到自己真正热爱的方向并为之努力。
总之,整个讲座内容丰富,既有深入浅出的技术讲解也有对未来趋势的展望,使我们受益匪浅。通过这次讲座,我们对智能眼科图像处理有了更深刻的理解,同时也认识到将AI应用于医疗领域的巨大潜力。此次讲座让我受益匪浅,在今后的研究生活中,我将继续学习前沿的知识和技术,并为推动科技进步贡献自己的力量!
Lecture 9:从卫星互联网安全到卫星物联网安全
学生汤文聪:在2024年11月2日的下午,电子科技大学的张小松教授为我们带来了一场关于“从卫星互联网安全到卫星物联网安全”的精彩讲座。
讲座伊始,张小松教授为我们介绍了卫星互联网的起源与发展。卫星互联网的起源最早可以追溯到上世纪60年代的美国。自卫星互联网被提出以来,卫星互联网不断发展,目前,全球范围内已经有多个国家和地区布局卫星互联网。例如,美国的SpaceX、亚马逊等公司纷纷投入巨资建设卫星互联网星座。自2020年卫星互联网被纳入“新基建”范畴以来,我国的相关产业也迎来了快速发展的黄金时期。然而,与卫星制造和发射环节的技术竞逐相比,卫星互联网的安全问题却常常被忽视,这不禁让人深感忧虑。
接着,张小松教授介绍了卫星物联网这一新型网络。作为能够完成向地面和空中终端提供宽带物联网接入等通信服务的重要工具,卫星物联网具有广覆盖、宽带化、低时延、低成本等突出优点,因此也成为了国内市场发展的焦点。在交通、油气、应急响应等诸多领域,卫星物联网都展现出了广泛的应用前景。然而,随着卫星物联网产业的快速发展,其安全问题也日益凸显,成为了人们关注的焦点。
张小松教授还详细阐述了卫星互联网与卫星物联网面临的安全威胁。从运行结构上看,这些威胁包括空间段、地面段、用户段和供应链等多个方面。而在技术层面,这些威胁又可进一步扩展为物理设施威胁、通信链路威胁、计算机系统与网络安全威胁、数据安全威胁以及业务应用安全威胁等五大类。这些威胁的存在,无疑给卫星互联网的发展带来了极大的挑战。接下来,张小松教授为我们介绍了包括供应链安全、通信链路安全、卫星物联网信息安全、固件安全在内的十种现在卫星物联网安全所面临的挑战。张小松教授强调,安全问题是大问题,特别是卫星物联网技术涉及军事领域、国家安全领域,我们更是不能掉以轻心。
通过聆听张小松教授的讲座,我深刻认识到了卫星互联网和卫星物联网在发展过程中所面临的安全挑战,令我受益匪浅。我将以此次讲座为契机,进一步深入了解卫星互联网和卫星物联网安全领域的相关知识,努力为这一领域的健康发展贡献自己的力量。
Lecture 10:软件智能漏洞检测与安全代码大模型
学生贺淼:2024年11月2日,我有幸聆听了来自华中科技大学的邹德清教授关于“软件智能漏洞检测与安全代码大模型”的精彩讲座。在报告中,邹教授介绍了软件供应链的相关概念,并通过分析我国的基础软件现状,阐述了开源的重要性以及软件供应链安全的重要性,并以此为起点向我们介绍了软件智能检测与防护的方法,让我们对于这方面的工作有了一定的了解。
邹教授首先从汽车供应链的问题出发,从传统燃油车和电动汽车的案例中,向我们说明了供应链的重要性,接着从各种角度告诉我们,什么是软件供应链、软件的重要性等等。接着,邹教授分析了我国基础软件的发展现状,指出我国国产操作系统产业基础薄弱,上下游产业链供给缺失,缺乏生态支持;我国基础支撑软件发展历史短,开源程度低、产品生态构建困难,市场占有率低等问题。随后,邹教授分析目前的国内外的开源社区生态,说明了开源对于软件供应链发展的重要性。
紧接着,邹教授讨论了软件供应链的安全风险,从两个角度来阐释这个问题。首先,由于开源社区开发者的水平参差不齐,可能会导致克隆代码的传播,漏洞的影响可能会被供应链指数级放大,Log4j2漏洞就是一个非常典型的案例;其次,这中间会存在一些法律风险,比如:版权风险、软件专利权等。邹教授强调了加强软件供应链安全的重要性。
在介绍智能漏洞检测和安全大模型时,邹教授先介绍了当前在数据驱动下利用智能技术实现精准漏洞检测的趋势,随后详细的解释了软件漏洞特征是如何自动学习的。首先选择候选区域,并分析其规律规则,从语法特征相关的角度,分析数据依赖和控制依赖,将得到的代码段作为输入来进行漏洞特征的学习。同时,邹教授探讨了该方法的可解释性,提出了基于启发式搜索的模型解释方法。最后,邹教授提出了简单、快速、有效的特征提取方法,使用机器学习模型来高效处理克隆的分类,并分析了其余分类方法的效果以及效率。
在这次报告的最后,邹教授介绍了安全大模型的背景及目前的研究进展,回顾了安全代码大模型的总体框架,以及面临的挑战和难点,并基于此提供了一些研究思路。邹教授在一点思考环节提出了一个深刻的问题——创新研究的落地,给我们很大触动。
邹教授的这次讲座内容丰富,既有深入浅出的技术讲解也有对未来趋势的展望,让我们对于国内软件的发展现状和软件供应链有了更加清晰的认识。通过给我们展示了软件漏洞智能检测的方法,我们对于漏洞特征的自动学习有了一定的了解。总而言之,此次讲座对我来说受益匪浅,在今后的研究生活中,我将保持前沿的知识技术的学习热情,为推动网络信息安全的进步贡献自己的力量!
Lecture 11: 网络空间智能对抗现状与策略
学生王佳豪:在2024年11月9日的下午,西北工业大学的王震教授为我们带来一场关于“AI驱动的网络空间智能对抗”的精彩讲座。
讲座伊始,王震教授为我们介绍了什么是网络空间和智能对抗。网络空间层次可分为地理层、物理基础设施、逻辑层、网络人格和身份,而网络空间的对抗形式整合为物理域、信息域和认知域。随着智能对抗不断演进,在传统对抗形式的基础上演变出功能性智能、对抗性智能和博弈性智能,从人与人的对抗、人与AI的对抗、AI与AI的对抗到智能系统的对抗。
接着,王震教授介绍AI对抗中的认知域对抗技术。认知是处理、理解和使用信息的方式,而认知存在的信息过载、偏差和漏洞等问题就是认知域的安全问题,这将扰乱经济发展、社会稳定和国家安全。现在存在非常多的认知域AI技术滥用,诸如gpt的泛滥、AI深度伪造和社交机器人等。王震教授还介绍了信息域和物理域中的技术对抗,如账号窃取、信息窃取、如震网病毒、训练样本投毒、侧信道攻击。
最后,王震教授介绍了他们的一项工作——互联网短视频内容理解与监测。随着互联网视频平台的飞速发展,违法违规的短视频越来越泛滥,而平台的推荐算法也是危机重重。王震教授介绍他们使用多模态大模型分析短视频的文本、音频和视频信息,获得信息并进行融合,对短视频进行分类处理。这将有助于短视频内容检测、舆情监测等。
通过聆听王震教授的讲座,我深刻认识到网络安全已经发展到新的阶段。不仅仅是AI的隐私问题,还有社交机器人、网络认知攻击等。这些内容令我受益匪浅,我将以此次讲座为契机,进一步深入了解网络空间智能对抗的相关知识,努力为这一领域的健康发展贡献自己的力量。
Lecture 12:数据驱动的复杂系统预测和推理
学生徐雅薇:2024年10月9号下午,我有幸聆听了来自同济大学的严钢教授关于“数据驱动的复杂系统预测和推理”的讲座。严教授的研究集中在复杂系统的建模与推断方法上,他为我们深入解析了数据驱动的复杂系统推理和网络化动态系统的基本原理。通过严教授的精彩报告,我对复杂系统的预测与演化有了更加全面的认识,受益匪浅。
复杂系统作为理解现实世界的重要途径,其特征在于系统内部的各个节点之间存在着复杂的相互作用,且这种作用常常通过多层次、多维度的关系进行传递和反馈。正因为节点之间的交互方式多样,复杂系统通常呈现出涌现性、非线性和自组织等特性,导致系统的整体行为难以通过简单的单个因素来解释。
在现代科学研究中,复杂系统的建模和分析一直是一个挑战,但随着网络科学和大数据技术的快速发展,研究人员能够从不同角度对复杂系统进行深入探讨。特别是,网络结构特征、节点动态时间序列等大量的实际观测数据为复杂系统研究提供了前所未有的机会。通过对这些数据的深入分析,研究者可以推断出系统的隐含规律,赋能科学推理,并进一步通过预测未来状态为科学预测提供理论和数据支持。
在讲座中,严教授首先介绍了传统的因果网络推断方法,包括格兰杰因果、传递熵和贝叶斯网络等。这些方法长期以来在因果推断领域取得了显著成果,然而,随着网络规模的扩大和数据复杂性的增加,传统因果推断方法逐渐面临一些挑战。随着网络节点数量的增加,系统复杂度大大提升,传统方法往往难以有效处理高维数据。
在这种背景下,严教授提出了一种新的思路——引入时域注意力机制来改进因果网络推断。这一机制通过对时间序列数据进行预处理,引导推理算法重点关注时间序列中可能表现出因果耦合效应的关键区间。传统方法通常在整个时间序列上均匀地进行分析,而时域注意力机制则能够根据数据的变化动态地选择关注区域,特别是那些可能引发因果关系变化的时段。这种方法不仅能有效避免噪声的干扰,还能够捕捉到系统中的关键时刻和潜在的因果转折点,从而提升因果推断的准确性和鲁棒性。
为了更好地理解复杂网络行为,严教授提出了一种基于网络拓扑和节点状态数据的网络化随机动态系统推理模型。这个模型能够处理耦合的随机微分方程,捕捉节点之间的动态相互作用,对整个网络的行为进行建模。实验结果表明,该模型能够有效地模拟和预测鸟群的动态变化,精准预测鸟群在复杂环境下的集体行为模式,效果显示了该方法在实际应用中的潜力。
在讲座的最后,严教授深入讨论了复杂系统的相变与临界现象,强调了这一领域在科学研究中的重要性,提出了一种基于数据驱动的复杂系统突变点预测的新思路。由于复杂系统中的突变通常是稀有事件,其发生频率较低,导致实际系统中用于训练的数据极为有限,这就给传统的基于数据的预测模型带来了挑战。严教授提出,可通过大量的模拟数据进行预训练,利用模拟数据的丰富性来捕捉系统中突变点出现的潜在规律,进而提升预测模型的性能。
总的来说,复杂系统研究中的数据驱动方法为我们提供了新的理解视角和技术手段。未来,随着计算能力的不断提升和数据资源的进一步积累,复杂系统的研究将进一步深入,推动科学技术的进步,创造更多的应用机会和创新可能。
Lecture 13:混合模型驱动的具身智能
学生杨旭滨:2024年11月16日,浙江大学的杨易教授给我们上了一节生动精彩的课,主题为“混合模型驱动的具身智能”这一前沿领域。杨教授为我们介绍了具身智能的发展历史和研究现状,并结合了当下的大模型背景,深刻分析具身智能主要研究方向与挑战,探讨了具身智能未来的发展趋势与应用前景。
杨教授首先介绍了“知识表达”的演变,从传统的专家构造描述子到今天的可学习的智能表达,虽然表达能力得到了增强,但伴随着解释能力的减弱。这提醒我,在大模型时代,我们虽然追求通用性和强表征能力,但也要警惕其可能带来的“黑箱”问题。通过将视觉知识、符号知识与深度表征结合的“多重知识表达理论”,或许可以在表达能力和可解释性之间找到一个平衡点。
接着杨教授为我们介绍了混合模型驱动的智能计算。杨教授提到的大小模型协同以及数据知识双轮驱动的思路非常具有启发性。大模型的通用性与小模型的专用性在实际场景中可以相互补充,特别是在动态复杂的任务中,例如具身导航或多智能体协作。数据知识双轮驱动的概念也非常有前瞻性,通过融合知识预测结果和数据驱动的能力,增强了智能系统的鲁棒性和可解释性。这让我意识到未来智能系统的发展不只是单一技术的突破,而是各种优势模型协同的结果。
之后杨教授给我们介绍了何为具身智能以及具身智能的应用场景。具身智能的核心是通过感知、推理和行动来解决问题。课程中强调了身心一体、主动感知和注重体验的特点,让我更清晰地理解了智能体与环境交互的重要性。这种“具身”不仅仅局限于物理上的感知和运动,更包括与环境的深层语义交互和体验积累的能力。课程中还举了一些实际案例如“基于场景感知-决策模型混合驱动的具身导航”和“Video Agent——哆啦A梦GPT”,并通过视频展示了科学实验辅助、博物馆导览以及智能运动健身三个实际应用。让我看到,具身智能在机器人学、无人驾驶、教育、医疗等领域已经展现了广阔的应用前景。这些案例反映了理论在具体场景中的实践,也提醒我们思考,如何才能将这些技术更好地与社会需求对接。
总之,混合模型驱动的具身智能是一种结合通用性与专用性、经验与数据的新范式。这不仅仅是技术上的挑战,也是人类对人工智能理解与应用的新思路。我期待未来能看到更多在实际场景中实现具身智能的创新成果,同时希望有机会参与到这一领域的实践中去。
Lecture 14:脑机接口信号处理与分析
学生曾宇杰:2024年11月16日下午,我有幸聆听了来自中国科学技术大学信息科学技术学院的陈勋教授关于“脑机接口信号处理与分析”的讲座。陈教授的演讲围绕神经生理信号分解、信号失联与信号融合三个研究方向展开,通过细致的讲解和前沿工作的分享,让我对这一领域的理论方法与实际应用有了更加深入的认识,尤其在脑电信号预处理、伪迹去除以及多模态融合等关键技术上,收获颇丰。
在神经生理信号分解这部分,陈教授详细阐述了现有脑电预处理方法的特点与局限,尤其是在多类别伪迹去除和动态场景下的应用问题上,深入分析了其面临的挑战。还给我们介绍了两种新的方法:动态联合直源分离算法和面向移动SSVEP脑机接口的肌电伪迹除去方法。这些研究不仅为脑电信号预处理提供了强有力的技术支持,也表明这一领域正向更加精准、场景化和高效的方向发展。
关于信号失联的部分,陈教授从国际天普癫痫赛事的背景出发,探讨了脑电信号在实际应用中可能面临的断连或缺失问题。这一部分不仅涵盖了计算效率与信号完整性之间的权衡,还延伸至未标注数据的半监督学习、模型的可解释性与泛化性等核心问题,尤其是针对对抗攻击的讨论,让我意识到神经生理信号在安全性与鲁棒性上的潜在风险。此外,临床应用场景中的讨论,例如如何提升计算效率、应对未标注数据的难题,也让我看到了脑机接口技术真正落地时需要解决的复杂现实问题。
在信号融合部分,陈教授简要介绍了融合不同神经信号的必要性与意义。通过多模态信号的优势互补,融合技术不仅提升了神经生理信号的解码精度,也为实际应用带来了更大的可能性。特别是在脑网络分析和脑区划分中的应用展示,让我感受到信号融合在揭示脑功能机制和脑疾病研究中的巨大潜力。同时,我也认识到信号融合技术在多模态数据同步、计算复杂度控制等方面的技术挑战。
通过本次讲座,我不仅了解到神经生理信号处理领域的最新进展,也对这一领域的挑战有了更清晰的认识。从伪迹去除到信号失联,再到多模态融合,研究者们在追求更高效、更精准的信号处理方法的同时,也不断扩展神经生理信号的应用边界。同时让我对脑科学与人工智能的结合有了更深的理解,也让我更加期待未来该领域的新突破。
Lecture 15:卫星物联网传输与计算技术
学生王奕辉:2024年11月23日,我们有幸聆听了孔令和教授关于“卫星科创 新宇征程”的精彩学术报告。在报告中,孔教授以其丰富的研究经验和深刻的洞察力,为我们展现了天基物联网与卫星智能计算的研究现状与前沿发展。通过深入剖析对核心概念、关键技术和未来方向的,他不仅为我们揭示了卫星科技的广阔前景,也启发了我们在科研探索中的新思路。
孔教授从天基物联网的研究背景切入,详细地介绍了低轨道卫星作为物联网网关的独特优势。如今卫星物联网的研究拓宽了网络传输的有效范围,为偏远地区的信息采集提供了可能性。孔教授深入分析了宽带与窄带卫星的特点,特别指出窄带卫星因其低成本和适配偏远地区少量数据收集需求而成为关键解决方案。这一思路启发了我们在科学研究中,核心在于解决问题与实际场景的高度匹配,而非单纯追求性能最优。针对星地通信的距离挑战,孔教授提出了线性调频扩频技术的应用,并通过调整扩频因子来有效延长通信距离。孔教授进一步阐述了卫星通信载荷硬件的可重构性与自主微操作系统的创新思想,即如何在技术开发中通过软硬结合来降低试验成本与技术风险。此外,孔教授提到利用火箭末子级开展多类型空间任务的设想,提出了高效利用太空资源的新思路。
在卫星智能计算领域,孔教授为我们详细分析了国内外技术的差距与潜力。他以基础设施、遥感星座、星载计算、智能遥感四个维度进行对比,特别指出国内地面站尤为稀缺的短板,为我国卫星科技的发展提供了明确的方向。另外,孔教授还为我们梳理了五个可选的研究方向:星载人工智能芯片研发、星地协同计算、物联网数据上行增强、红外视频卫星移动目标检测和星载轻量级空间态势感知。这些研究方向都蕴含着广阔的研究价值,深刻地启发了同学们对卫星智能计算未来潜力的思考。
在交流环节中,孔教授耐心解答了关于星地通信与地面通信的主要差异问题。他指出星地通信因其动态拓扑的高速变化,容易导致通信不畅。此外,他还分析了星地通信抗干扰能力的挑战:激光通信容易受到云层遮挡的影响,而无线电波通信则可能遭遇近地信号的干扰。孔教授没有回避这些技术难题,而是以务实的态度为同学们讲解目前卫星通信功率有限、算力不足等技术难点。
在本次报告中,孔教授为我们揭开了卫星智能计算领域的一角,让我们深刻感受到科研的广阔视野与肩上的责任。我由衷敬佩像孔教授这样致力于开拓前沿科技的科学家,并希望在未来的学习与研究中,能以他的探索精神为榜样,脚踏实地,仰望星空。希望以后可以见到中国卫星智能计算腾飞的一日。
Lecture 16:生成式AI赋能通信网络
学生金熙润:2024年11月23日下午,杨鲲教授以“生成式AI赋能通信网络”为主题,为我们带来了一场精彩的学术讲座。本次讲座系统展现了生成式AI在通信网络中的代表性应用,包括基于端到端设计的物理层内生智能、生成式语义通信、生成式数字孪生网络以及联邦学习等前沿领域。这些内容充分展示了生成式AI与通信技术结合所带来的广阔前景。
讲座伊始,杨教授从移动通信系统的演进谈起。他回顾了2G到4G阶段通信技术的主要目标是实现人与人之间的交流,而5G技术则进一步扩展到人与物、物与物之间的通信。展望未来,6G技术的目标是实现覆盖全场景、全频段和全服务的通信网络,使通信能够覆盖海陆空乃至宇宙。随后,杨教授提出了一个发人深省的问题:如何构建未来的移动通信网络?他的答案是通过6G内生智能,以人工智能技术赋能未来的移动通信网络。由此,讲座切入正题,围绕生成式语义通信、生成式数字孪生网络以及生成式AI辅助的无线联邦学习三大方向展开。
在生成式语义通信部分,杨教授剖析了当前通信物理层面临的两大挑战:模块化设计难以实现全局优化,同时编码压缩与信道编码冗余之间的固有冲突。他提出了一种突破传统通信模式的新思路,即利用生成式AI为不同应用场景提供定制化支持,实现万物互联。不同于传统以数据精确传输为目标的通信方式,生成式语义通信更加关注信息的语义准确性,通过生成式AI技术实现信息的高效压缩与传递。这种以语义驱动为核心的通信模式,展现出了成为未来通信技术主流的巨大潜力。
随后,讲座聚焦于生成式数字孪生网络。杨教授强调,作为5G技术的重要应用之一,数字孪生网络的性能可以通过生成式AI得到显著提升。他详细阐述了生成式数字孪生网络如何结合实时感知、预测与优化技术,动态映射物理世界,并在此基础上实现智能化决策与模拟。通过生成式AI技术,网络能够高效构建物理系统的数字副本,降低信道测量成本,提高效率并减少响应延迟。这些内容让我对数字孪生技术在复杂环境中的应用前景有了更深的理解。
在探讨无线联邦学习的环节,杨教授分析了当前联邦学习面临的标签稀缺、数据分布不均以及缺乏可解释性等挑战。他提出,生成式AI在这一领域展现出独特优势,例如通过生成式模型学习无标签数据的潜在特征,并利用知识蒸馏提升本地模型的学习效果。这些创新有效缓解了数据稀缺与隐私保护等问题,也让我深刻认识到生成式AI在边缘计算与分布式智能中的潜力。
讲座最后,杨教授重申,6G内生智能是通信技术未来发展的必然趋势,而生成式AI将是其中的重要使能工具。这场讲座逻辑清晰、内容丰富,既展示了通信技术与生成式AI结合的最新研究成果,也对未来的研究方向和实际应用提出了宝贵建议。不仅让我感受到生成式AI在通信技术革新中的重要性,也更加坚定了探索AI与通信技术结合的信心和动力。