杨森照片

杨森

计算机视觉 | 多模态大语言模型 | 自动驾驶

现任百度高级研发工程师,专注于计算机视觉、多模态大语言模型和自动驾驶研究

太长不看(预览图)

# **杨森个人主页**
## 关于我
- **计算机视觉研究员**
- 研究方向:
  - 计算机视觉
  - 多模态大语言模型
  - 自动驾驶
## 教育背景
- **博士**:东南大学(2019.5-2023.3)
- 硕士:东南大学(2017.9-2019.1)
- 学士:吉林大学(2013.9-2017.7)
## 工作经历
- **百度 VIS 高级研发工程师**(2023.7-至今)
- 腾讯 TPG 实习生(2021.12-2022.8)
- 旷视科技 实习生(2021.1-2021.10)
## 研究成果
- **自动驾驶**
  - TopoSD: Topology-Enhanced Lane Segment Perception
  - MGMapNet: Multi-Granularity Representation Learning
- **多模态大模型**
  - Vision Remember: Alleviating Visual Forgetting in Efficient MLLM
- **姿态估计**
  - Detecting and grouping keypoints
  - Capturing the motion of every joint
  - Searching part-specific neural fabrics
  - SimCC: A Simple Coordinate Classification
  - TokenPose: Learning Keypoint Tokens
  - TransPose: Keypoint Localization via Transformer
## 技术栈
- **多模态大模型**
  - MLLM架构:自回归模型、LLaVA、Qwen2.5-VL、LISA、Grounding Models
  - 训练技术:SFT、强化学习
  - 视觉Token压缩、大规模分布式训练
- **自动驾驶感知**
  - BEV视觉建图、时序建模、概率规划
  - 多模态融合:视觉+地图结构化数据
  - VLM
- **深度学习框架**
  - PyTorch、Python、C++
  - Transformer模型、GPU/昇腾NPU开发
## 联系方式
- 邮箱: yangsenius@gmail.com
- 博客: senyang-ml.github.io
- 谷歌学术主页
                    
提示:可自由拖动查看思维导图内容
gantt dateFormat YYYY.MM title 杨森个人经历时间轴 section 教育背景 学士学位 :edu1, 2013.09, 2017.07 硕士学位 :edu2, 2017.09, 2019.01 博士学位 :edu3, 2019.05, 2023.03 section 工作经历 旷视科技实习 :work1, 2021.01, 2021.10 腾讯TPG实习 :work2, 2021.12, 2022.08 百度算法工程师 :work3, 2023.07, 2025.06

关于我

我是百度的一名研究工程师,主要从事计算机视觉、多模态大语言模型和自动驾驶方面的工作。我于2023年获得东南大学博士学位。我的研究重点是计算机视觉和深度学习,特别关注2D/3D人体姿态估计、自动驾驶感知和视觉多模态基础模型。我热衷于开发创新解决方案,将前沿研究与实际应用相结合。

我的研究兴趣包括:

  • 计算机视觉
  • 深度学习
  • 人体姿态估计
  • 自动驾驶感知
  • 多模态基础模型

工作实习经历

百度 VIS

高级研发工程师

2023.7 - 至今

负责多模态大模型、自动驾驶视觉感知与规划的算法研究与创新应用,旨在推动技术边界,解决复杂挑战。工作涵盖从前沿算法设计到产品落地的全流程,注重将理论突破转化为实际业务价值,并在多个核心领域取得显著进展。

腾讯 TPG

实习生

2021.12 - 2022.8

负责三维人体重建与动作生成项目,基于参数化SMPL模型提出独立token表征方法,实现了高精度的三维人体重建和关节运动捕捉,3DPW指标提升8%,论文发表在ICLR-2023 (spotlight, top25%)。

旷视科技

实习生

2021.1 - 2021.10

参与人体姿态估计项目,设计基于token表示的Transformer模型(ICCV-2021)。研究Transformer中注意力模式(Pattern Recognition)。首创坐标分类新范式SimCC,突破传统回归和heatmap方法精度瓶颈(ECCV 2022 Oral,被主流姿态估计框架采用)。

教育背景

学士
吉林大学 通信工程学院
自动化
2013.09 - 2017.07
硕士
东南大学 自动化学院
模式识别与智能系统
2017.09 - 2019.01
博士
东南大学 自动化学院
模式识别与智能系统
2019.03 - 2023.05

研究成果

TopoSD: Topology-Enhanced Lane Segment Perception with SDMap Prior

Sen Yang, Minyue Jiang, Ziwei Fan, Xiaolu Xie, Xiao Tan, Yingying Li, Errui Ding, Liang Wang, Jingdong Wang.

2024 预印本 (引用1次)

MGMapNet: Multi-Granularity Representation Learning for End-to-End Vectorized HD Map Construction

Jing Yang*, Minyue Jiang*, Sen Yang*, Xiao Tan, Yingying Li, Errui Ding, Hanli Wang, Jingdong Wang.

ICLR 2025 (引用0次)

Adnet: Lane shape prediction via anchor decomposition

L Xiao, X Li, S Yang, W Yang.

ICCV 2023 (引用24次)

Detecting and grouping keypoints for multi-person pose estimation using instance-aware attention

Sen Yang, Ze Feng, Zhicheng Wang, Yanjie Li, Shoukui Zhang, Zhibin Quan, Shu-tao Xia, Wankou Yang.

Pattern Recognition (引用22次)

Capturing the motion of every joint: 3D human pose and mesh recovery with independent tokens

Sen Yang, Wen Heng, Gang Liu, Guozhong Luo, Wankou Yang, Gang Yu.

ICLR 2023 (spotlight, top 25%) (引用14次)

Searching part-specific neural fabrics for human pose estimation

Sen Yang, Wankou Yang, Zhen Cui.

Pattern Recognition (引用12次)

SimCC: A Simple Coordinate Classification perspective for human pose estimation

Yanjie Li, Sen Yang, Peidong Liu, Shoukui Zhang, Yunxiao Wang, Zhicheng Wang, Wankou Yang, Shu-Tao Xia.

ECCV 2022 (oral, top 5%) (引用184次)

TokenPose: Learning Keypoint Tokens for Human Pose Estimation

Yanjie Li, Shoukui Zhang, Zhicheng Wang, Sen Yang, Wankou Yang, Shu-Tao Xia, Erjin Zhou.

ICCV 2021 (引用355次)

TransPose: Keypoint Localization via Transformer

Sen Yang, Zhibin Quan, Mu Nie, Wankou Yang.

ICCV 2021 (引用443次)

Learning Multiple Probabilistic Decisions from Latent World Model in Autonomous Driving

L Xiao, JJ Liu, Sen Yang, X Li, X Ye, W Yang, J Wang.

arXiv preprint arXiv:2409.15730, 2024 (引用1次)

专业技能

  • 扎实的计算机视觉理论和实践经验,有多个子领域的研究和开发经历;博士期间专注于深度学习、Transformer模型、人体姿态估计;在工作若干项目中积累了自动驾驶感知与建图、规划的落地量产经验;有多模态大模型的模型设计、优化、数据处理、标注以及自动化流的实践经验。
  • 擅长深度学习模型的设计与优化,融合跨领域创新思维,将理论优势转化为工程实战,有较强的代码实现能力。
  • 拥有大型企业项目开发经验,有跨部门合作经历,注重高效沟通与协作。
  • 熟练掌握PyTorch等主流开发框架,熟悉Python、C++等编程语言,熟练掌握Linux开发等技能。
  • 拥有较强的自驱学习能力(Transfer & Meta Learning),对前沿技术热爱并不懈追求,善于学习与利用工具,注重效率。

联系方式

yangsenius@gmail.com