人工智能+数字孪生:一场颠覆传统的技术革命
日期:2024-07-23 作者:小天
来源:www.txunda.com
人气:529
一、产业动向
1) Weisson模式(TEXT to3D)
Luma AI是一家提供3D捕捉和建模技术的公司,旨在帮助用户轻松创建高质量的3D内容。Luma AI于2024年1月发布的Genie 1.0,只需输入一句文字提示,就能在10秒内生成四个高保真的3D模型,用户可选择并在三维网格界面内编辑模型纹理。这些模型可在屏幕上预览,也能导出到Blender、Unity等工具中进一步使用。除Luma AI外,市面上还有非常多的文生模型产品,大家可以自行去体验一下。
当前,基于文心模型的建模方法在工程实践中并不适用。在此基础上,提出了一种基于图像/视频的图像/视频建模方法,其基本思想是:通过图像、视频等信息,计算出点云的空间坐标,并通过点云与相片的简单粗建模,最终实现点云的可视化绘制。SA制作出来的照片,品质还是很好的,如果你想要积累一些小型物品的资产,可以试试这种方式。总之,现在的自动建模基本上都有如下几个问题:
细节丢失和准确性问题:所得到的三维模型对于复杂的细节及高精确度的需求可能会很差。比如,如果对象的纹理很细腻,而且结构很细微,那么所产生的模型就会变得很粗糙或者很模糊。材料与照明仿真问题:所建立的模型在对材料表达、照明等方面的仿真与实际情况有一定的偏离,从而降低了仿真的真实感。例如,所产生的金属材料,并不具备真正的金属所具有的反光、光泽等特征。
人工智能的理解能力:高品质三维数据的采集,是一项极具挑战性的工作,而训练样本则会对所生成的三维模型产生直接的影响。人工智能在具体的场景或者总体设计中,往往不能充分了解模型的语境与语义关联,从而不能很好地满足实际应用的需要。比如,针对某个游戏场景而产生的物品模型,有可能不符合整个游戏的风格、逻辑。
后期编辑、修正难度大:相对于传统的人工造型,在三维模型的后期,对其进行大范围的编辑、修正可能会有一定的难度,对相关的技术与工具提出了更高的要求。有时,修改所需的费用可能比手动建模所需的更多。上述问题使得所建模型不能直接用于工程实践。所以,在当前的情况下,大规模的应用自动建模技术并不能有效地提高生产效率。
2.人工智能算法训练
最近自动驾驶与机器人概念十分火爆,那么在这两个行业中,数字孪生又能发挥什么作用呢?
1)自动驾驶
现有的无人驾驶技术大都在前期以模拟的3D场
2)机器人训练
在本届 WAIC全球人工智能会议上,有一些服务机器人,比如端着咖啡杯在咖啡店里为顾客提供服务等。也有一些导游机器人,已经开始为游客服务了。因此,这种要求具备在各种环境中感知环境、与人互动、完成任务的机器人,其实现方式大多是通过建立周围环境的3D模型,并与具体的服务场景相联系,来指导机器人的训练。所以,如果是高质量的服务,每个店、每个场景,都要有针对性地建立特定的场景模型,进行针对性的培训。工业生产、气象灾害预防、低空经济等诸多模拟应用都离不开3D模拟场景的支持,因此,如何实现高精度3D场景的快速生成具有重要意义。
二、从文本到三维的测试——D5渲染器
D5是一个我十分喜爱的软件,其高效率的场景构建能力和高品质的3D效果,在市场上确实具有竞争力。D5区有一个叫做“书生模式”的功能,目前还在测试中,他已经提交了申请,获得了一次使用的机会,如果有兴趣的话,可以尝试一下。接着来看看实际的用法测试。
1. Prompt:地铁站入口和出口闸机的建模
最终生成的模型和预期的相差较大,大概是AI并没有理解我们的提示词导致的。然后对第一个结果进行了细化,可以看到,模型的清晰度会比刚生成时好很多。
2. prompt:一栋带阳台的三层楼房
这一次AI理解了,提示词中的三层楼和阳台都能看出来,但细节以及模型大小都存在较大问题。此次生成没有继续细化了,因为生成次数有限。
3. Prompt:以红色为主,要求带柄的杯子
这回 AI也明白了,杯子、红色和手柄都被还原了,但是模型的细节还是有问题的。改进后的模型,只是外表看起来更精致了一些,并没有太多的细节。从这一次的测试来看,我们在前三个阶段中,或多或少都会遇到一些自动建模的问题,所以文心模型还需要很长的路要走。
三、3D-Gauss重构
目前,我们正在尝试用3D高斯重构方法取代传统的人工建模方法,主要用于大场景下不重要的区域模型的自动生成。该系统的主要工作包括三个步骤:将所需的视频生成——产生一个应用程序——通过插件将其导入到 UE引擎中;在三维高斯重构中,仍有许多亟待解决的问题有待解决,例如:如何更好的处理混叠(摩尔纹)现象,提高绘制角度依赖的效果,以及优化计算效率。
1) Weisson模式(TEXT to3D)
Luma AI是一家提供3D捕捉和建模技术的公司,旨在帮助用户轻松创建高质量的3D内容。Luma AI于2024年1月发布的Genie 1.0,只需输入一句文字提示,就能在10秒内生成四个高保真的3D模型,用户可选择并在三维网格界面内编辑模型纹理。这些模型可在屏幕上预览,也能导出到Blender、Unity等工具中进一步使用。除Luma AI外,市面上还有非常多的文生模型产品,大家可以自行去体验一下。
如果您需要相关服务,可以找天津天迅达科技有限公司,我们的业务有Web开发、iOS APP、Android APP、微信开发、HTML5开发等,天迅达——您身边的App个性化定制专家!
2) picture/video模型当前,基于文心模型的建模方法在工程实践中并不适用。在此基础上,提出了一种基于图像/视频的图像/视频建模方法,其基本思想是:通过图像、视频等信息,计算出点云的空间坐标,并通过点云与相片的简单粗建模,最终实现点云的可视化绘制。SA制作出来的照片,品质还是很好的,如果你想要积累一些小型物品的资产,可以试试这种方式。总之,现在的自动建模基本上都有如下几个问题:
细节丢失和准确性问题:所得到的三维模型对于复杂的细节及高精确度的需求可能会很差。比如,如果对象的纹理很细腻,而且结构很细微,那么所产生的模型就会变得很粗糙或者很模糊。材料与照明仿真问题:所建立的模型在对材料表达、照明等方面的仿真与实际情况有一定的偏离,从而降低了仿真的真实感。例如,所产生的金属材料,并不具备真正的金属所具有的反光、光泽等特征。
人工智能的理解能力:高品质三维数据的采集,是一项极具挑战性的工作,而训练样本则会对所生成的三维模型产生直接的影响。人工智能在具体的场景或者总体设计中,往往不能充分了解模型的语境与语义关联,从而不能很好地满足实际应用的需要。比如,针对某个游戏场景而产生的物品模型,有可能不符合整个游戏的风格、逻辑。
后期编辑、修正难度大:相对于传统的人工造型,在三维模型的后期,对其进行大范围的编辑、修正可能会有一定的难度,对相关的技术与工具提出了更高的要求。有时,修改所需的费用可能比手动建模所需的更多。上述问题使得所建模型不能直接用于工程实践。所以,在当前的情况下,大规模的应用自动建模技术并不能有效地提高生产效率。
2.人工智能算法训练
最近自动驾驶与机器人概念十分火爆,那么在这两个行业中,数字孪生又能发挥什么作用呢?
1)自动驾驶
现有的无人驾驶技术大都在前期以模拟的3D场
2)机器人训练
在本届 WAIC全球人工智能会议上,有一些服务机器人,比如端着咖啡杯在咖啡店里为顾客提供服务等。也有一些导游机器人,已经开始为游客服务了。因此,这种要求具备在各种环境中感知环境、与人互动、完成任务的机器人,其实现方式大多是通过建立周围环境的3D模型,并与具体的服务场景相联系,来指导机器人的训练。所以,如果是高质量的服务,每个店、每个场景,都要有针对性地建立特定的场景模型,进行针对性的培训。工业生产、气象灾害预防、低空经济等诸多模拟应用都离不开3D模拟场景的支持,因此,如何实现高精度3D场景的快速生成具有重要意义。
二、从文本到三维的测试——D5渲染器
D5是一个我十分喜爱的软件,其高效率的场景构建能力和高品质的3D效果,在市场上确实具有竞争力。D5区有一个叫做“书生模式”的功能,目前还在测试中,他已经提交了申请,获得了一次使用的机会,如果有兴趣的话,可以尝试一下。接着来看看实际的用法测试。
1. Prompt:地铁站入口和出口闸机的建模
最终生成的模型和预期的相差较大,大概是AI并没有理解我们的提示词导致的。然后对第一个结果进行了细化,可以看到,模型的清晰度会比刚生成时好很多。
2. prompt:一栋带阳台的三层楼房
这一次AI理解了,提示词中的三层楼和阳台都能看出来,但细节以及模型大小都存在较大问题。此次生成没有继续细化了,因为生成次数有限。
3. Prompt:以红色为主,要求带柄的杯子
这回 AI也明白了,杯子、红色和手柄都被还原了,但是模型的细节还是有问题的。改进后的模型,只是外表看起来更精致了一些,并没有太多的细节。从这一次的测试来看,我们在前三个阶段中,或多或少都会遇到一些自动建模的问题,所以文心模型还需要很长的路要走。
三、3D-Gauss重构
目前,我们正在尝试用3D高斯重构方法取代传统的人工建模方法,主要用于大场景下不重要的区域模型的自动生成。该系统的主要工作包括三个步骤:将所需的视频生成——产生一个应用程序——通过插件将其导入到 UE引擎中;在三维高斯重构中,仍有许多亟待解决的问题有待解决,例如:如何更好的处理混叠(摩尔纹)现象,提高绘制角度依赖的效果,以及优化计算效率。
以上所有设计图和部分文字均来自网络,如有侵权,请call我删除,感谢~
天津天迅达科技有限公司经过多年来对APP、小程序、以及网站建设的探索,已经帮助每一个客户快速开发出属于自己的APP、小程序、网站,是万千企业之选。
相关资讯
- 数字孪生:现实世界的身外化身 2024-12-06
- 微信公众号全面“今日头条化”,自媒体将迎来“第二春”? 2024-12-04
- 优质长视频的破圈效应 2024-12-05
- 奶茶行业的裂变营销 2024-12-03
- 浅浅分享下支付产品经理如何写全局性的需求文档以及工作流程 2024-12-02
- “麦学”爆红:一场精心策划的营销盛宴 2024-11-29
- 如果遇到麦琳式的领导,怎么办? 2024-11-28