【小哈划重点:Prophesee开发了一种突破性的基于事件的视觉方法(Event-based vision),其专利Metavision传感器和算法模仿人眼和大脑的工作方式,能够显著提高自动驾驶汽车、工业自动化、物联网、安全和监控以及AR/VR等领域的效率。】
近日,神经拟态视觉传感器创业公司Prophesee(普诺飞思)宣布完成5000万欧元C轮融资,本轮融资投资者包括Prosperity7 ventures、创新工场和小米,以及英特尔资本、罗伯特博世风险投资、360资本、iBionext和欧洲投资银行。
Prophesee总部位于法国巴黎,是神经形态视觉系统(neuromorphic vision systems)的发明者。Prophesee开发了一种突破性的基于事件的视觉方法(Event-based vision),其专利Metavision传感器和算法模仿人眼和大脑的工作方式,能够显著提高自动驾驶汽车、工业自动化、物联网、安全和监控以及AR/VR等领域的效率。
据悉,本轮融资将为Prophesee加速其下一代硬件软件产品的开发和商业化提供动力,使其能够应对新兴市场机遇,进一步扩大公司规模。
1、基于事件的神经拟态视觉,一种新的范式转换
从智能手机、AR/VR设备、到自动驾驶系统、无人机、机器人...机器视觉是当代人工智能技术中最令人兴奋的应用之一。
当前,许多机器视觉技术都是遵循传统的成像原则——即机器每秒看到25帧的静止图像,并通过对每帧图像进行智能分析,使工业设备具备基本识别与分析能力。但是,这种传统的方案存在两个比较大的缺陷。
一方面,即便是高帧率,帧与帧之间都仍可能存在重要的未记录信息;另一方面,对于画面中始终处于静止状态的对象而言,每一帧都可能重复地记录了大量无意义信息——这对后端计算会构成更大的负担,并带来对数据通讯、存储更大的负担。
受人眼视网膜和大脑工作原理的启发,Prophesee创建了神经形态传感器和生物启发算法,将基于图像的传感器转向基于事件的视觉系统。所谓的“事件”,是指一个像素激活自身并发送事件检测到发生的X、Y坐标和时间戳。
在基于事件的视觉传感器上,每个像素都是异步且独立的,能独立感知并记录场景中物体的运动。像素会随着场景变化的节奏而动态变化,而非按照预先设定好的任意节奏(每秒25张图像),并且生成的数据量比传统的图像传感器少十到千倍。
基于事件的视觉传感器实现了微秒级的时间分辨率(等效于10k+fps,实时分辨率),能够在瞬息万变动态场景中抓住转瞬即逝的图像信息,响应时间极快且功耗非常低。
传统图像传感器容易因强烈的光照对比而丢失部分场景信息,因此需要在传感器层面调节曝光。但基于事件的传感器可实现像素级别的曝光调节,即使在极端的光照条件下,也可实现>120dB的动态范围。
“在人工智能快速发展的今天,特别是在图像视觉领域,融合了AI技术的图像视觉处理对数据带宽、存储功率及计算成本等产生了更高的要求。”Prophese联合创始人兼CEO Luca Verre说,“我们相信,借助Prophesee的技术,受生物启发的神经形态传感器及AI算法,能够让人工智能及计算机视觉未来效率更高。”
“生态建设是目前我们需要投入的、很重要的一部分。因为我们的技术是打破现有游戏规则的新技术,要构建起生态系统,我们采用开源架构。”
6月6日,Prophesee宣布即日起免费提供Metavision®Intelligence软件套件的最新版本(3.0),包含其所有模块,为视觉系统设计人员探索基于事件视觉技术的性能及能效、部署差异化的机器视觉应用提供加速路径,将进一步加速基于事件视觉系统的设计研发、商业落地及交付使用。
2、应用前景广阔,探索神经拟态技术新“视”界
据悉,Prophesee是创新工场投资的第一家欧洲企业。在创新工场董事长兼CEO李开复看来,Prophesee的神经拟态机器眼技术在多个领域具备巨大潜力,包括计算摄影、自动驾驶、工业自动化、物联网、医疗保健、AR和VR等,为行业已逐渐普及的机器视觉应用带来更令人振奋的前沿技术突破。
“Prophesee在神经拟态视觉领域的先进技术,将为AI和机器视觉技术的发展开创更多的可能性与机会,帮助更多行业实现自动化、安全以及效率方面的提升。”
不久前,《自然-医学》(Nature Medicine)杂志发表了首例视网膜色素变性(RP)患者恢复部分视力的病例研究报告。研究人员使用Gensight的光遗传学(optogenetics)治疗方案,包含基因治疗和光刺激护目镜,成功帮助一位40多年前被诊断患有视网膜色素变性(RP)的盲人患者识别、计数、定位、触摸不同的物体。
其中,该护目镜使用了Prophesee基于事件的神经拟态视觉传感器。类似于人眼的视觉功能,基于事件的视觉传感不受固定帧率的限制,每个像素可以异步检测并连续记录场景局部区域的光强度变化。当光强度的变化超过一定阈值的时候,相机会发出一个事件信号。基于事件的传感器将事件信息输出为时间连续的数据流,从而提供实时流畅的视觉体验,帮助患者识别不同物体的轮廓。
在推动微流控技术发展方面,基于事件的视觉传感也能够大显身手。在日常生活中,我们可以用相机捕捉以时速1米/秒移动的物体的清晰影像,例如快速飞行的棒球。但在微流控(microfluidics)领域,拍摄捕捉高速运动的微小粒子却非常具有挑战性,不仅需要使用高速相机进行成像,且需要具备强大的照明源。
在最近的一项研究中,格拉斯哥大学、赫瑞瓦特大学和斯特拉斯克莱德大学的研究人员发现,基于事件的视觉传感技术,可实现高速、高成本效益的微流控检测与成像。
另外,由于基于事件的传感具有高性能和低功耗的特点,它被用作空间态势感知(SSA)的替代方案。该系统能够以微秒级的时间分辨率持续地运行,同时产生的数据量减少10倍到1,000倍。据悉,西悉尼大学国际神经拟态系统中心(ICNS)已经开发了世界上第一个神经拟态移动望远镜Astrosite,以帮助解决日益严重的太空碎片问题。
从帮助盲人重见光明、触摸细胞,到追踪太空碎片…基于事件视觉的生态系统发展迅速,赋能多个行业的关键技术突破。令人期待的是,未来我们将看到基于事件的视觉技术在自动驾驶、工业自动化、物联网、移动设备、AR/VR、机器人、无人机等领域释放出更多创造力。
3、多家知名投资机构加持,加速商业化落地
近日,Prophesee宣布完成5000万欧元C轮融资,本轮融资分两次进行。2021年7月,Prophesee宣布完成C1轮融资,本轮融资由创新工场领投,小米及上海韦豪创芯跟投,数家老股东加码。本次新增的投资者Prosperity7 Ventures,是沙特阿美子公司Aramco Ventures旗下的多元化成长型全球基金。
Prophesee的神经拟态视觉传感器技术已经发展成熟,正处于寻找商业化落地的关键时机。目前,Prophesee已经获得了全球主要合作伙伴的支持,这些合作伙伴正在将其技术整合到复杂的视觉系统中,用于智能手机、AR/VR头戴设备、工厂自动化和维护、科学和健康研究等领域。
Prophesee和Sony合作开发了下一代高清视觉传感器,该传感器将Sony的CMOS图像传感器技术与Prophesee的Metavision传感技术相结合。Prophesee还与Lucid、Framos、Imago和Century Arks等领先的机器视觉供应商建立了商业合作关系,其用于访问其软件和开发工具的开源模式使5000多名开发人员以新的和创新的方式使用技术的社区快速发展。
本轮融资之后,Prophesee将加速下一代神经拟态视觉传感技术的硬件和软件产品的开发与商业化;针对新兴市场规划产品路线;完善基础设施,支持运营及规模扩张。此外,Prophesee还将加强在中国的商业发展与资源积累,在半导体、工业、机器人、物联网和移动设备等关键生态领域建立更广泛合作。
Prophesee联合创始人兼CEOLuca Verre表示,中国将在未来几年将是公司重点关注点,“中国在移动市场上具有明显的领导地位,在人工智能研究方面被公认为最活跃的国家,本土人工智能公司超过千家,在全球范围内仅次于美国。”
今年4月,芯鼎科技与Prophesee宣布共同合作开发基于事件的Metavision传感器应用方案,此方案整合了芯鼎的V57 AI视觉处理芯片及由Sony Semiconductor Solutions(“SSS”)与Prophesee共同开发之全新堆栈式基于事件的视觉传感器(“EVS”)IMX636,可以支持终端客户的AI视觉应用,如汽车舱内的DMS和OMS、家庭医疗保健和医院的患者/老年人摔倒侦测、家庭安防中的入侵者侦测、工业自动化中的异常检测、智慧家用电器中的手势控制、AR/VR中的眼部跟踪等。
在创立Prophesee之前,Luca曾在施耐德电气从事过工程管理、产品管理、市场营销和业务开发相关工作,也曾于丰田和Altis Semiconductor就职工程师职位,还在伦敦帝国理工学院担任过光子学助理研究员,拥有米兰理工大学和巴黎中央理工学院的物理学、电子学和工业工程学双一流理学硕士学位。
“创业之旅不容易,在经济下滑期间,可能还会更难。但这段旅途或许会有转机,因为总会有新的需求涌现。保持活力、跳出固化思维,对于成功持续这段旅途很重要。”
(资料来源:https://www.prophesee.ai)
(原文标题:《创新工场、小米都青睐的神经拟态视觉传感技术创业公司,Prophesee宣布完成5000万欧元C轮融资》。文章插图未收录)