运动艺术互动展

结合动作捕捉、数据库浏览与 AI 绘画的互动软件设计与开发。

全文约 2,400 字 - 阅读约 5 分钟

时间起始 2024.03 结束 2024.05
团队阿里云设计中心 央博(CCTV 数字博物馆)
职责基于 UE5 的互动开发 LoRA 训练与工具开发 图形设计
关键词数字艺术 交互设计 AIGC 数字展陈

运动艺术互动展是央博(中央广播电视总台数字博物馆)与阿里云设计中心合作指导的数字展览,以中法建交 60 周年与巴黎奥运会为背景。观众按屏幕提示摆出运动动作,系统比对相似度后解锁对应的艺术作品库;浏览 24 项运动、211 件作品的数据库之后,再由经 LoRA 微调的 Stable Diffusion 模型把观众的身形与预设艺术风格融合,生成专属的运动风格画作。除交互体验外,项目为 24 项运动设计了完整的几何图形标识系统,并沉淀为实体出版物与现场展陈。

背景

为什么做这个展览

2024 年是中法建交 60 周年,巴黎奥运会同期举办,体育与文化外交成为公共议题的焦点。中央广播电视总台数字博物馆与阿里云设计中心联合发起本展览,希望用数字化方式回应这一节点,探索体育与艺术之间的关联。

传统体育展览多为静态陈列或影像回顾,观众始终站在被动观看的位置。项目把身体重新定义为体育与艺术的共同媒介,运动是身体的表达,艺术同样源于对身体姿态的观察与再现。

核心概念,身体作为连接点

展览围绕一个命题展开,身体是体育与艺术之间的连接点。整个体验由身体贯穿,用动作进入展览、用身体浏览作品、再用身体完成创作。

这需要一套贯穿交互、出版与展陈的视觉语言,同时借助 AI 让观众成为作品的共同创作者。

三步体验,从旁观者到创作者

项目以三步流程组织体验,身体互动游戏 → 艺术作品浏览 → 身体艺术创作。观众的身体数据在每一步被采集、比对与转化,生成属于自己的艺术作品。

三步交互体验

第一步,身体互动游戏

观众按屏幕提示摆出标准运动动作,摄像头实时提取骨骼关键点,与标准姿态比对相似度,超过 80% 后解锁对应的运动作品库。摆出动作本身就成为了进入展览的钥匙。

屏幕提示标准动作
摄像头捕捉
MediaPipe 骨骼提取
相似度比对
达到阈值
解锁对应运动的艺术作品库
身体互动游戏的识别与解锁链路

第二步,作品浏览

解锁后进入一个覆盖 24 项运动、211 件作品的跨时代跨媒介作品数据库,门类包括绘画、雕塑、摄影与影像。手柄即可切换作品与运动类别,把正在进行的身体运动与历史上的艺术表达并置在同一个展览里。

第三步,身体艺术创作

观众选择一种预设艺术风格,摆出动作,摄像头捕捉后由经 LoRA 微调的 Stable Diffusion 模型生成对应风格的作品。每个结果都融合运动图形标识、参与者姿态数据与对应运动的配色方案。

内容建设

24 项运动视觉系统

为 24 项体育运动设计了一整套几何图形标识系统与动态字母。从每项运动中提取关键动作帧,把身体姿态逐步简化为几何线框,形成既统一又各具辨识度的标识。

# 24 项运动
1-6 排球、网球、台球、体操、花样滑冰、滑雪
7-12 拳击、手球、足球、武术、跑步、赛艇
13-18 举重、击剑、乒乓球、芭蕾、游泳、赛龙舟
19-24 铁饼、射箭、羽毛球、水上芭蕾、马术、自行车

运动员角色与画框概念

虚拟模型采用 Blender 建模。运动员与画框的设计理念是,生成一个随图标人物动态形变的画框,身体运动驱动画框形变,把运动动态直接融入艺术表达,让身体与画面合为一体。

草图阶段

运动员形象、画框概念与核心视觉都先经过草图推敲,再进入建模与实时渲染。

一套语言,多种媒介

同一套从动作帧提炼的几何线框,在互动中随动作实时形变,在海报与 AI 生成阶段作为核心视觉锚点,并延伸到出版物与展具设计。

211 件作品数据库

整理了一份体育主题艺术作品数据库,收录 211 件作品,每件记录名称、作者、年代与媒介,并按 24 项运动分类,为互动浏览提供结构化内容支撑。

AI 创作与交互技术

实时动作捕捉

用 MediaPipe 与 UE5-Metahuman 插件把用户动作实时映射到虚拟运动员模型上,延迟控制在 50ms 以内,保证互动的即时反馈。

AI 风格生成,保姿态,留风格

AI 创作不是简单套滤镜。经 LoRA 微调的 Stable Diffusion 模型让生成结果既保留观众姿态,又呈现稳定的艺术风格。下方为不同运动、不同风格的生成示例。

技术架构

前端用 UE5 与 C++ 开发,负责实时渲染与复杂交互;后台用 Python 与 Stable Diffusion API,为 AI 创作提供支持。

UE5 + C++ 前端实时渲染 / 交互 / 动作映射
Python + Stable Diffusion API 后端AI 风格生成MediaPipe骨骼关键点实时提取Blender运动员 / 画框模型设计
UE5 前端平台及其支撑模块组成
出版物与展陈落地

实体出版物

项目概念与设计成果被整理为实体书册,收录 24 项运动图形标识的设计过程与最终应用;配套 147 页宣传册完整呈现项目全貌。

展册内页

四页静态版式与动态翻页对应同一套内容与视觉语言。

书籍实物

书册实物沿用与数字展馆一致的视觉语言,把运动标识、动作分解与作品数据库沉淀为印刷媒介。

展馆场景与户外展陈

展览以数字展馆为核心,配套动作捕捉设备与展具。视觉系统进一步延伸到户外公共空间,户外艺术画廊、骑行海报、壁画与广告牌,让展览走出展厅,进入城市日常。

成果与复盘

成果与复盘

项目落地为数字展陈平台、24 项运动视觉系统、211 件作品数据库与实体书籍展陈四部分,动作捕捉延迟 50ms 以内。我主导 UE5 端开发与关键虚拟模型设计,完成三段交互流程与全部界面。

项目把动作、内容与 AI 生成串成一条流程,动作作为入口,也让浏览与创作共用同一套姿态数据与图形语言,三步之间衔接顺畅。限制同样直接,风格与作品库都是预设内容,观众只能在给定范围里选择;AI 生成质量取决于 LoRA 训练样本。后续会把风格库与自定义入口作为主要迭代方向。