超高速脉冲视觉数据集及开放任务挑战赛
近年来,基于脉冲相机(spike camera)的视觉研究正快速发展。不同于传统帧式成像,脉冲相机受启发于生物视觉系统,其每个像素独立根据光强变化主动发放脉冲信号,采样频率最高可达 40,000Hz。其输出形式为二值脉冲的时空阵列(0/1脉冲信号),具有极高的时间分辨率与出色的动态感知能力,特别适用于高速运动、高动态范围、连续变化等复杂场景。
与此同时,脉冲视觉也面临前沿挑战:由于其数据形式全新,传统图像算法和评估机制难以直接适用,亟需开发适配脉冲数据的新型视觉算法和构建适应性强的开放基准。
本竞赛以推动脉冲视觉领域开放创新与生态建设为核心目标,面向科研人员与开发者,鼓励围绕以下方向展开探索:
提出面向脉冲数据的新型感知应用与算法,如语义分割、新视角合成、3D检测跟踪、自动对焦等;
构建真实场景下具有泛化能力的脉冲数据集或增强模拟器工具;
推动开源共享,建立标准化的评测机制与协作平台。
本次竞赛依托于北京大学多媒体信息处理全国重点实验室自研的SpikeCV 脉冲视觉开源平台。SpikeCV于2022年 OpenI 启智开源社区上线,累计下载量超过13万次,集成了丰富的脉冲相机数据集、模拟器、算法模块、评估工具和设备接口,持续支持脉冲视觉社区进行快速开发与研究验证。
诚挚邀请全球开发者参与本次竞赛,共同推动脉冲视觉从研究走向应用:
激发创新灵感,探索更高效、更智能的感知机制;
建设开放标准,共创适配真实场景的评估与对比体系;
汇聚研究资源,加速该领域在学术与产业中的广泛应用。
所有相关脉冲数据、模拟器与代码资源请参考 SpikeCV 开源仓库与官网更新。
本次竞赛包含两条独立的赛道,分别是:
赛道1-数据集与基准评测:选手们可通过在实拍数据集上进行标注并实现对应标注下的基准评测任务,或是针对脉冲模拟器进行增强(例如模拟噪声)以提升在实拍场景的脉冲数据泛化效果,提供具有指导训练或评测意义的合成脉冲数据集。希望通过邀请参赛者提供新的脉冲相机数据集,或者增强脉冲相机模拟器,来丰富SpikeCV的数据生态。
赛道 2-新应用与开放研究:聚焦于新型的脉冲相机的AI应用,发挥脉冲相机超高速与连续采样的特点,将其应用于例如高速场景或者连续视角拍摄下的语义分割、新视角合成、3D检测跟踪、自动对焦等;此外,亦可在脉冲数据上实现基于脉冲的新算法/模型,包含但不限于极端场景下的多目标跟踪、光流估计、深度估计、运动分割的新算法。鼓励参赛者提出能够启发探索脉冲视觉相关的新应用并推动未来工作的提案。
北京大学:黄铁军、郑雅菁、施柏鑫、赵睿
北京理工大学:朱林
启智OpenI 开源社区:余跃、赵海英、王溯、李沛
联系方式:
比赛答疑群:SpikeCV社区交流微信群
竞赛网站:https://app-kyxt.pcl.ac.cn/competitions/group/fm259hja
自愿报名,参赛团队和成员的组成可以为:
(1)各培养单位正式注册教师、在读本科生、研究生以及博士生。
(2)国内外各研究团体、企事业单位。
本比赛接受个人或团队形式报名参赛:
邮件正文需包含以下信息:
报名模板(建议格式):
|
时间范围 | 任务安排 | 说明 |
7月10日 | 官网公布比赛任务、报名方式与评审机制 | 官网同步开放任务文档下载、报名邮箱、FAQ等信息 |
7月10日 - 8月30日 | 团队报名与资格确认(邮件报名) ⚠请于 8月30日 23:59(北京时间)前完成组队 |
- 每队最多6名队员,2名指导老师; - 成员名单一经确认不可更改; - 推荐尽早报名以便后续获取数据下载权限与赛事通知 |
5月1日 - 7月30日 | SpikeCV “无极挑战赛”第一阶段(IJCAI) |
- 此阶段为前置初赛,评测结果作为第二阶段入围参考 - 任务涵盖脉冲数据建构与脉冲视觉算法探索两类方向 |
8月1日 - 9月20日 | PRCV第二阶段正式比赛 提供验证集标签,允许使用全部数据优化方案 提交完整代码、模型或数据集与说明文档 |
- 数据集/模拟器增强任务:需提交内容、使用说明、示例 - 视觉算法任务:需提交模型代码与运行脚本 - 评审团将综合考虑效果、创新性与完整性进行评比 |
9月30日 | 官方公布最终比赛结果 | 官网与邮箱同步通知;获奖队伍将获邀请线下答辩与展示 |
10月15日 - 10月18日 | 中国 · 上海 · 国家会展中心 PRCV大会期间 现场答辩、展示与颁奖典礼 |
获奖团队需准备 PPT 或 Demo 视频进行现场展示 |
本次比赛依托于SpikeCV 脉冲视觉集成式开源平台,旨在推动脉冲视觉算法、数据、工具链的标准化建设与研究创新。
SpikeCV 平台已集成并持续维护大量相关资源,包括但不限于:
参赛选手可充分利用 SpikeCV 提供的开源数据与算法模块作为参考基础,无需自行采集脉冲相机数据或准备硬件设备。构建数据集或任务算法的重点在于思路的完整性、实现质量和创新性。
以下为 SpikeCV 平台的架构图,展示了从设备接口到数据集、模块库的完整功能链条:
赛道1:数据集与基准评测基于专家团对不同的数据集与基准评测贡献评价角度的打分进行加权得到最终排名。
赛道 2:新应用与开放研究基于专家团对不同的研究创新性评价角度的打分进行加权得到最终排名
提交到SpikeCV在OpenI的比赛系统中:
本次比赛是 SpikeCV 在 IJCAI 2025 上举办的“无极挑战赛”赛道2(数据集与基准评测)和赛道3(开放脉冲任务)的第二阶段扩展赛段。比赛目标是进一步推动脉冲视觉领域的发展,扩大开放数据和任务的影响力,激励更多研究者参与。在PRCV赛段获奖的队伍的奖金设置如下,另外将获得PRCV认证的获奖证书。
赛道 | 奖项 |
总奖金(元) |
赛道1:数据集与基准评测 |
最佳数据集奖 |
15,000 |
赛道2:新应用与开放研究 |
最佳创新奖 |
11,000 |
|
优秀参与奖 |
2000 * 5 |
组委会将举办脉冲视觉专题论坛,并邀请获奖的参赛队伍参加作特邀技术报告。
参赛队伍应保证所提供的研究方案、基准评测、数据集和算法属于自有知识产权。组织方对参赛队伍因使用本队提供/完成的研究方案、基准、数据集和算法而产生的任何实际侵权或者被任何第三方指控侵权概不负责。一旦上述情况和事件发生参赛队伍必须承担一切相关法律责任和经济赔偿责任并保护组织方免于承担该等责任。参会的团队注册可与PRCV注册方式相同,标明参加竞赛研讨会,并支付注册费用。
China Society of Image and Graphics (CSIG)
Chinese Association for Artificial Intelligence (CAAI)
China Computer Federation (CCF)
Chinese Association of Automation (CAA)
Shanghai Jiao Tong University (SJTU)
Shanghai Feten Culture Promotion Company
AutoDL