中新网合肥7月19日电 (刘浩吴建平)7月18日晚,安徽歙县在徽城镇府衙广场开启洪灾后首场“非遗夜市”,现场同时举办“重建家园”义演活动,当晚收到义卖、义捐款718206.4元。

歙县画家、书法家和徽州剪纸艺人把作品无偿献出供拍卖。吴建平 摄

当晚多家企业纷纷登台捐款,画家、书法家和徽州剪纸艺人把作品无偿献出供拍卖,市民和游客竞相购买竞拍品;学生把自己的小人书义卖献爱心;红十字会现场提供捐款箱引导市民捐款,指导爱心人士微信、支付宝等扫码募捐。(完)

18日晚重启非遗夜市旨在提振经济士气,集聚消费人气,协力重建家园。

项目已经开源,下面附上Github地址和博客:

雷锋网原创文章,。详情见转载须知。

歙县红十字会现场提供捐款箱引导市民捐款,指导爱心人士微信、支付宝等扫码募捐。吴建平 摄

AR合成数据生成的例子。虚拟的白棕色麦片盒被渲染到真实场景中,挨着一本真实的蓝色书。

此方案能够减少模型在每一帧上运行网络的需要,允许重复使用,同时保持pipeline移动设备上的实时更新。此外,还能跨帧保留目标属性,确保预测在时间上一致,从而。减少抖动为了提高移动设备pipeline,每隔几帧只运行一次模型推理。

对于检测任务,使用标注好的边界框,并用高斯拟合。其中,中心在框的中间,标准差与框的大小成正比。检测的目标就是预测这种概率分布,其概率分布的峰值表示目标的中心位置。

歙县举办“重建家园”义演活动。吴建平 摄

在当前条件下,如何基于现有的 2D 图像数据来做3D 检测呢?

据悉,受持续暴雨和上游洪峰影响,7月7日,歙县遭遇严重洪涝灾害,原本的非遗夜市活动也只能暂时停歇。

谷歌建立了一个单级模型,能够从RGB图像中预测物体的姿态和物理大小。具体而言,模型的主干包含基于MobileNetv2构建的编解码器体系结构,并采用多任务学习方法通过检测和回归联合预测目标的形状。形状预测依赖数据标注的质量,如果数据中没有形状的标注,那么此选项可以不选。

为了解决这一问题,谷歌使用移动增强现实会话数据开发了一个新的数据管道。随着ARCore 、ARKit等工具的出现,数亿部智能手机现在具备了AR 功能,能够在 AR会话期间捕捉到额外的信息,包括摄像机姿势、稀疏的3D点云、估计的照明和平面。为了标注真实数据,谷歌还开发了能够与AR会话数据一同使用的新标注工具,让标注者可以快速地给物体标注 3D 边框。

这种方法可以生成高质量的合成数据,并且渲染的物体不仅顺应场景几何体,还能够无缝匹配适应现实场景。通过结合现实世界的数据和 AR 合成数据,能够提高约10%的准确度。

一个针对3D目标检测的机器学习Pipeline

下图是模型的网络架构和后处理,经验证模型可以轻松的在移动设备上实时运行,例如在Adreno 650移动GPU上为26FPS。

日前,谷歌发布了一个针对日常物体的移动实时 3D 物体检测管道——MediaPipe Objectron。

另外,所采用的预测方法是实时运动跟踪和运动静止跟踪的结合,当做出新预测时候,会将检测结果和跟踪结果合并。为了鼓励研究、开发人员使用谷歌的pipeline建模,其将在MediaPipe Objectron上发布基于设备的实时3D目标检测的pipeline,内容包括端到端的demo移动应用,以及两类训练模型,这两类训练模式是鞋子和椅子。

单个图像的 3D 物体检测。MediaPipe Objectron在移动设备上实时确定日常对象的位置、方位和大小。

在提高预测准确性方面,现在常用的一种方法是使用合成数据来补充现实世界的数据。然而这种做法往往会产生质量差、不现实的数据,而在真实渲染的情况下,则需要进行大量的尝试和消耗计算成本。

谷歌提出的新方法,叫做AR 合成数据生成(AR Synthetic Data Generation),将虚拟物体放置到已有 AR 会话数据的场景中,可以利用摄像机姿势、检测到的平面以及估计的照明情况来生成物理世界中可能存在以及照明条件能够与场景匹配的位置。

为了获得边界框的最终3D坐标,谷歌利用了一种完善的姿势估计算法(EPnP),这个算法能够在无需了解目标大小的情况下,恢复目标的3D 边界框,只要有了3D边界框,就可以轻松计算目标的姿势和大小。

随着依赖于激光雷达等 3D 捕获传感器的自动驾驶汽车研究工作的日益普及,目前已有大量的街道场景 3D 数据,然而针对更细粒度的日常物体的带有真实 3D 标注的数据集极度有限。

电子证据具有直观性强、容易形成完整证据链等优势,但其长期以来充满争议,原因在于其与生俱来的易破坏、难保存,易修改、真实性难以鉴定等不足,这让司法机关对采信电子证据一直持谨慎态度。2014年2月4日最高法发布的关于适用新民事诉讼法的司法解释,原则性地界定了电子证据的范畴,而对电子证据的收集、调取、真实性认定等没有作出细化规定。因而在司法实践中,尤其是在劳动争议案件的审理中,电子证据未能全面使用。这不仅不利于依法保护劳动者合法权益,而且在司法审理日益数字化的大背景下,也不利于提升司法效率和节约司法资源。

(雷锋网(公众号:雷锋网))

让电子证据成为劳动者维权的利器,是信息化技术发展和运用的必然要求。在网络化用工模式中,劳动合同的签订、履行、解除或终止,用人单位的劳动用工管理等,很大一部分都是通过网络方式进行的。在这种情况下,要求劳动者在维权诉讼中按照传统方式举证,无疑推高了维权难度和诉讼成本。与时俱进地引入电子证据,让其在保护劳动者权益中最大程度地发挥出应有作用,也是法律保护的题中之义。

该管道可以检测2D图像中的物体,然后通过机器学习模型估计物体的姿势和大小,再在谷歌最新开发的3D数据集上对模型进行训练。

徒法不足以自行。期待各级法院能够在电子证据新规下,为劳动者依法守住应有的权益。

该工具使用分屏视图显示 2D 视频帧,其中左侧放置3D边框,右侧显示3D点云、摄像机位置和检测到的平面视图。标注者以3D 视图来绘制3D 边框,并通过查看其在2D 视频帧中的投影来检验其位置。

针对静态物体,只需要在单个帧中标注物体,然后利用AR 对话数据中真实的摄像机姿势信息将其位置传送到所有帧中,从而提高整个流程的效率。

要让电子证据发挥出预期作用,关键是要对其兴利除弊。此番正式施行的民事诉讼证据司法解释,对电子证据的收集、调取、保全、质证和真实性认定,以及以视听传输技术或者视听资料方式作证等,都作出了具体而又规范化的规定,期待其能释放出更多正面效应。

图注:网络样本结果:左边是带有估计边界框的原始2D图像,中间是基于高斯分布的目标检测。右边是预测分割掩码。在MediaPipe上检测和跟踪

图注:3D目标检测的网络结构和后处理

获取现实世界 3D 训练数据

让模型实际应用时,由于针对的是移动设备捕获的每一帧,而这些帧的3D边界框可能是模糊的,所以模型可能会被干扰。为了解决这一问题,谷歌借鉴了其之前2D目标检测的方案,也即使用了之前的检测+跟踪框架。

其中,MediaPipe 是一个开源跨平台框架,用于构建管道来处理不同模式的感知数据,而Objectron则是在MediaPipe中实现,能够在移动设备中实时计算面向检测物体的3D 边框。

Last modified: 2020年7月27日

Author