赵屾

副教授

E-mail：zhaosh35@mail.sysu.edu.cn

研究方向：AI+多模态智慧医疗，多模态拟人化可解释脊柱疾病诊断

个人主页：https://hnyz979.github.io/

一、主要经历

      赵屾，中山大学“百人计划”副教授，博士生导师，长期从事AI+多模态智慧医疗研究（例如多模态人工智能、深度学习、大模型等前沿方法），主要应用场景为多模态拟人化可解释脊柱疾病诊断。

      主要经历：

  • 2020.04~今：中山大学副教授。
  • 2018.03~2020.04：加拿大Western University研究助理教授。
  • 2015.07~2018.03：中国科学院深圳先进技术研究院助理研究员。
  • 2010.09~2015.07：清华大学博士生。
  • 2006.09~2010.07：清华大学本科生。

      英文版个人主页：https://hnyz979.github.io/

      联系邮箱：zhaosh35@mail.sysu.edu.cn

 

二、学科方向

      围绕多模态拟人化可解释脊柱疾病诊断，分为三个主要研究方向：

      1、基础模型细粒度检测/诊断：组织检测/诊断是拟人化疾病诊断的基础，基础模型提供了丰富的医学先验知识，但其精确辨别不同结构和病变（例如外观相似的椎体和脊柱病变）的能力受限，为此，本方向基于多模态基础模型，完成细粒度脊柱关键组织检测（椎体、椎间盘、椎间孔等）及疾病诊断（脊柱瘤、脊柱滑脱、骨折、感染、终板炎、椎间盘突出等）。亦可拓展到胸片X射线、皮肤病、基因突变预测等其他医学应用场景。

      2、多模态曼巴蛇实例分割：深度蛇算法有望渐进地分割人体组织和病灶，为拟人化可解释诊断提供准确因果信息，但深度蛇的演化尚不能准确勾勒出复杂边界，为此，本方向在深度蛇算法之上引入曼巴（Mamba）状态空间模型，同时通过文本先验、大模型先验知识等辅助脊柱关键组织的全面检测分割，并拟拓展到更有挑战性的脊柱病灶分割和各向异性数据演化之上。亦可拓展到腹部影像、细胞分割等其他医学应用场景。

      3、多模态生成式扩散模型辅助诊断：生成式模型有望生成少数类样本，缓解类别不均衡问题并助力诊断可解释性，但其生成质量和可控性尚有提升空间，为此，本方向在扩散模型之上引入文本引导，设计方案平滑融合生成区域与原有区域边界，生成标签可控且视觉效果好的特定病灶，并拟拓展到更具可解释性的反事实样本生成方案，完成多种脊柱疾病的诊断。亦可拓展到皮肤病诊断等医学应用场景。

      诸位师友、学生：若您热爱多模态医学人工智能研究，有“昨夜西风凋碧树，独上高楼、望尽天涯路”的坚持，有“衣带渐宽终不悔，为伊消得人憔悴”的痴迷，请您与我合作，我们共同向“众里寻他千百度，蓦然回首，那人却在灯火阑珊处”的目标努力前行。

 

三、科研项目

1、脊柱医学诊断方向：

  • 2026~2029：国家自然科学基金面上项目《基于MRI体数据的脊柱瘤因果可解释诊断关键算法研究》（50万元），主持。
  • 2026~2028：广东省自然科学基金面上项目《MRI脊柱瘤诊断：从各向异性检测分割到诊断决策解释》（10万元），主持。
  • 2024~2027：深圳市自然科学基金面上项目《跨模态数据中脊柱退行性病变全面诊断关键方法研究》（30万元），主持。
  • 2022~2024：国家自然科学基金青年项目《面向差异性MRI数据的高性能全自动脊柱瘤筛查研究》（30万元），主持。
  • 2018~2020：加拿大“Automation prediction of several spinal diseases using radiological features from magnetic resonance images”健康医学学会（Canadian Institutes of Health Research）项目，主研。

2、其他方向：

  • 2024~2027：国家自然科学重大研究计划基金项目《高速直线推进电磁能装备枢轨材料性能劣化与实时原位诊断和评价研究》子课题（共1200万元，分得40万元），主持。
  • 2022~2025：国家重点研发计划政府间国际科技创新合作《人机协作神经外科精准操作手术机器人系统》子课题（共600万元，分得30万元），主持。
  • 2024~2025：中山大学《深度学习》AI+课程教学改革项目（12万元），主持。

 

四、论著专利

完整文章列表请参考谷歌学术：

      https://scholar.google.com.hk/citations?hl=zh-CN&user=U68XZOgAAAAJ&view_op=list_works&sortby=pubdate

代表作品（以课题组三个主要研究方向为大类，如果您有兴趣，请联系我）：

1、基础模型细粒度检测/诊断：

  • 已有工作描述：已基于小模型实现椎体检测，能够实现多区段（颈椎段、腰椎段、胸腰段、骶椎段等）的椎体检测。已基于小模型实现脊柱瘤等疾病的初步诊断。
  • 工作设想：拟将椎体检测/诊断工作嵌入基础模型中，解决模态融合难点，充分利用大模型中的预训练知识增强组织检测和疾病诊断的泛化性能，检测更多种器官（如椎间盘、椎间孔、脊髓等）、诊断更多种疾病（如不同类别的脊柱瘤、脊柱滑脱、骨折、感染、终板炎、椎间盘突出等）。
  • 相关代表性文章（时间从老到新排序）：
    • Automatic Vertebrae Recognition from Arbitrary Spine MRI Images by a Hierarchical Self-calibration Detection Framework. (Medical Image Computing and Computer Assisted Intervention (MICCAI2019)，医学图像顶级会议，第一作者)
    • PCCT: Progressive Class-Center Triplet Loss for Imbalanced MedicalImage Classification. (IEEE Journal of Biomedical and Health Informatics，发表年份(2023) IF=7.700，中科院小类一区Top刊)-共同通讯)
    • VertFound: Synergizing Semantic and Spatial Understanding for Fine-Grained Vertebrae Classification via Foundation Models. (Medical Image Computing and Computer Assisted Intervention (MICCAI2024)，医学图像顶级会议，通讯作者)
    • MIBF-Net: Multi-modal information balanced fusion network for Clinical Diagnosis via Patient Narratives and Lesion Image (Medical Image Computing and Computer Assisted Intervention (MICCAI2025)，医学图像顶级会议，通讯作者)
    • Multi-source Signal Fusion with Contrastive AutoEncoder for Emotion Classification. (IEEE Journal of Biomedical and Health Informatics，发表年份(2025) IF=6.700，中科院小类一区Top刊)-第一作者)

2、多模态曼巴蛇实例分割：

  • 已有工作描述：已基于传统蛇模型完成了颈动脉壁的提取和运动追踪，而后设计全自动深度蛇模型，在复杂图像条件（跨模态、多病理、多医学站点、半监督）下完成了MRI/CT图像中的椎体多实例分割（检测+分割流程），并可拓展到心脏MRI、腹部CT场景。
  • 工作设想：拟将深度蛇模型拓展到多模态，与曼巴等状态空间模型结合，或嵌入到多模态基础模型疾病诊断框架中，精准地分割组织和病灶层级的边界，以实现可解释诊断。此外，拟将该模型拓展到序列（三位体数据或视频序列）中的实时组织实例分割，拓展诊断信息或用于术中场景。
  • 相关文章：
    • Robust Segmentation of Intima-Media Borders with Different Morphologies and Dynamics During the Cardiac Cycle. (IEEE Journal of Biomedical and Health Informatics，发表年份(2017) IF=3.451，中科院小类一区Top刊，第一作者)
    • Automatic vertebrae recognition from arbitrary spine MRI images by a Category-Consistent self-calibration detection framework. (Medical Image Analysis，发表年份(2021) IF=11.145，医学影像排名第一的Top刊，中科院大/小类一区，第一作者)
    • Attractive deep morphology-aware active contour network for vertebral body contour extraction with extensions to heterogeneous and semi-supervised scenarios. (Medical Image Analysis，发表年份(2023) IF=13.800，医学影像排名第一的Top刊，中科院大/小类一区，第一作者)
    • Progressive deep snake for instance boundary extraction in medical images. (Expert Systems with Applications，发表年份(2024) IF=8.500，中科院大类一区Top刊，共同通讯)
    • Unified Medical Image Segmentation with State Space Modeling Snake. (ACM International Conference on Multimedia (ACMMM2025)，计算机图形学与多媒体领域顶级会议，通讯作者)

3、多模态生成式扩散模型辅助诊断：

  • 已有工作描述：已在检测框架上加入分类诊断网络，部分实现了“先检测再诊断”的拟人化流程，完成了脊柱瘤、脊柱滑脱、皮肤癌、前列腺癌等疾病诊断；近期在此流程中，加入扩散模型生成指定文字描述的样本，进一步解决类别不均衡问题并增加可解释性。
  • 工作设想：根据前述检测/实例分割结果，利用结果中的多层级因果特征，引导基于条件扩散模型的反事实生成，实现多种脊柱疾病的同时可解释诊断；同时，与自适应提示的主动学习结合，整合市面上的脊柱数据集，形成人机交互的诊断方法，在模型中融入医学知识。
  • 相关文章：
    • Automatic spondylolisthesis grading from MRIs across modalities using faster adversarial recognition network. (Medical Image Analysis，发表年份(2019) IF=8.880，医学影像排名第一的Top刊，中科院大/小类一区，第一作者)
    • Discriminative Dictionary-Embedded Network for Comprehensive Vertebrae Tumor Diagnosis. (Medical Image Computing and Computer Assisted Intervention (MICCAI2020)，医学图像顶级会议，第一作者)
    • Reasoning discriminative dictionary-embedded network for fully automatic vertebrae tumor diagnosis. (Medical Image Analysis，发表年份(2022) IF=11.145，医学影像排名第一的Top刊，中科院大/小类一区，第一作者)
    • Deep Augmented Metric Learning Network for Prostate Cancer Classification in Ultrasound Images. (IEEE Journal of Biomedical and Health Informatics，发表年份(2024) IF=7.700，中科院小类一区Top刊，共同通讯)
    • MedSoftDiffusion: Medical Semantic-Guided Diffusion Model with Soft Mask Conditioning for Vertebral Disease Diagnosis. (Medical Image Computing and Computer Assisted Intervention (MICCAI2025)，医学图像顶级会议，通讯作者)

 

五、荣誉获奖情况

  • 中山大学教学竞赛二等奖
  • 中山大学“百人计划”副教授，2019
  • 顶级国际医学图像处理会议MICCAI青年科学家奖提名，2019
  • 加拿大Western University博后奖学金，2018
  • 清华大学国家奖学金，2014
  • 清华大学本科和研究生奖学金，2008、2009、2011、2012

 

六、主要兼职与社会服务

  • 医学图像顶级会议MICCAI审稿人、CCF-A类会议CVPR ICCV ECCV AAAI审稿人
  • JCR一区期刊MEDIA、IEEE TMI、IEEE JBHI、CMIG审稿人
  • 中山大学HCP实验室成员（www.sysu-hcp.net）

 

其他

      我奉行人性文化，而非狼性文化。在知识面前，我们平等地交流，但这不等同于我对科研没有要求；平等交流和人性文化的基础是更丰富的知识、更大的自觉性、更单纯的求真务实精神和更认真负责的态度。希望我们能够在科研过程中，建立互相信任的师生关系。

      我对科技论文的写作非常重视。这体现了一种科研态度，对于很多医学期刊，写作水平甚至比追求热点科研问题重要。若您是计算机科班出身的学生，您可能将花费更多的时间在写作上，打磨出一篇好文章往往需要几个月甚至更长的时间，希望您能有和我一起打磨的耐心。写作将是您职业发展中至关重要的一环，剑桥大学教育学学者表示，语言和写作将决定人生发展的潜力（详见https://www.isee-ai.cn/~zhwshi/writing.pdf）。

      若您有读博士、从事学术研究或者技术研究的打算，我这里可以提供给您不错的人脉和算力资源和学术指导，我会尽量照顾到每个学生的每篇作品。我组里的同学曾发表过MedIA等顶刊论文，并拿到过美国的全奖博士、阿联酋的全奖硕士等，他们都付出了非常多的心血，最终获得了丰厚的回报。

      实验室的毕业生均有IT大公司实习经历，毕业去向腾讯、字节等优质单位。对于想继续深造的同学，可以选择本实验室或推荐出国攻读博士学位。实验室成员每月发放生活津贴，取得重要研究突破和成果将给予优厚奖励；资助参加学术会议，允许自由安排工作时间。

      此外，本人是中国古典诗词和小说的狂热爱好者，在完成主要科研任务的前提下，我们可以一起讨论鉴赏。或许在讨论中，可以碰撞出思维的火花，用科学的方法去发扬传统文化。

 

附录：实验室部分学生去向

曾xx（2020级硕士）：元戎启行

黄xx（2020级硕士）：加拿大英属哥伦比亚大学全奖博士

吴xx（2021级硕士）：美国得克萨斯大学阿灵顿分校全奖博士

王xx（2021级硕士）：北京大学博士

胡xx（2022级硕士）：中广核

刘xx（2022级硕士）：大疆

唐xx（2019级本科、2023级硕士）：中山大学优秀毕业生，已获字节录用

贺xx（2019级本科、2023级硕士）：已获腾讯录用

王xx（2019级本科）：阿布扎比人工智能大学全奖硕士，现已获月之暗面录用

王xx（2019级本科）：美国凯斯西楚大学全奖博士

姚xx（2020级本科、2024级硕士）：中山大学优秀毕业生，中山大学硕士

雷xx（2020级本科、2024级硕士）：中山大学硕士

张xx（2022级本科）：清华大学直博

郭xx（2022级本科）：北京大学直博

申xx（2022级本科）：中山大学直博