Guanjie Huang

香港科技大学(广州)人工智能博士研究生

正在寻找全职机会 目标方向:多模态人工智能研究与应用研究

我是香港科技大学(广州)人工智能方向博士研究生,导师为 刘李教授(Prof. Li Liu)曾宪国教授(Prof. Danny H. K. Tsang)。我的研究聚焦高效、可靠的多模态智能,主要包括音视频理解、自动线索语识别、多模态大模型与智能体,以及模型不确定性。

近期工作探索如何让大语言模型与专用智能体协同理解视觉语音和手势线索,如何在标注样本有限时高效学习多模态表示,以及如何评估模型的置信度与生成内容真实性。我也关注音频伪造检测和具有物理规律约束的音视频生成评测。

博士阶段之前,我曾从事工业计算机视觉、大规模多模态数据集构建、无人机目标跟踪和学习辅助优化研究。我拥有澳大利亚国立大学人工智能硕士学位和电子科技大学软件工程学士学位。

研究方向: 音视频学习 · 多模态大模型与智能体 · 语音及线索语识别 · 可信多模态人工智能 · 模型不确定性 · 音频伪造检测

欢迎就科研合作、多模态人工智能及相关工作机会与我交流。

近期动态

2026-05-06 在 ICASSP 2026 展示半免训练自动线索语识别工作 STF-ACSR论文 · 代码
2026-01-14 Semantic Modulated Prompting for Few-Shot Audio-Visual Classification 发表于 IEEE/ACM TASLP。论文
2025-08-01 Cued-Agent 入选 ACM Multimedia 2025 口头报告,并获得 学生差旅奖。论文 · 代码

代表性论文

  1. TASLP
    Semantic Modulated Prompting for Few-Shot Audio-Visual Classification
    Guanjie Huang, Yawen Cui, Danny Hin Kwok Tsang, and 2 位其他作者
    IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2026
    音视频学习小样本学习提示调优模态重平衡
  2. ICASSP
    Lend a Hand: Semi Training-Free Cued Speech Recognition via MLLM-Driven Hand Modeling
    Guanjie Huang, Danny H. K. Tsang, Xiao-Ping Zhang, and 1 more author
    In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2026
    线索语识别多模态大模型免训练学习视觉语音
  3. ACM MM
    Cued-Agent: A Multi-Agent Framework for Automatic Cued Speech Recognition
    Guanjie Huang, Danny H. K. Tsang, Shan Yang, and 2 位其他作者
    In Proceedings of the ACM International Conference on Multimedia口头报告, 2025
    线索语识别多智能体系统多模态学习大模型自校正
  4. ACM MM
    PhyAVBench: A Physical-Centric Audio-Visual Benchmark for Video Generation
    Tianxin Xie, Wentao Lei, Guanjie Huang, and 1 more author
    In Proceedings of the ACM International Conference on Multimedia口头报告, 2026
    音视频生成物理规律对齐评测基准文本到音视频
  5. TPAMI
    WebUAV-3M: A Benchmark Unveiling the Power of Million-Scale Deep UAV Tracking
    Chunhui Zhang, Guanjie Huang, Li Liu, and 5 位其他作者
    IEEE Transactions on Pattern Analysis and Machine Intelligence共同第一作者。 , 2023
    无人机目标跟踪多模态跟踪大规模数据集视觉目标跟踪
  6. NeurIPS
    WebUOT-1M: Advancing Deep Underwater Object Tracking with a Million-Scale Benchmark
    Chunhui Zhang, Li Liu, Guanjie Huang, and 3 位其他作者
    In Advances in Neural Information Processing Systems, 2024
    水下目标跟踪大规模评测基准多模态跟踪目标跟踪
  7. CVPRW
    Underwater Camouflaged Object Tracking Meets Vision-Language SAM2
    Chunhui Zhang, Li Liu, Guanjie Huang, and 5 位其他作者
    In IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2025
    水下目标跟踪伪装目标视觉语言模型SAM2