8.0 KiB
8.0 KiB
其他软件的思路
MeshY
- 模型+三视图+关键字&标签 => 贴图贴上模型，并且生成对应的贴图
- LJJ：可行性与实现意义并不大，因为需要一个相对准确的三视图。
- DCC软件已经有一个这样的工具，速度差不多，优势并不大 https://www.youtube.com/watch?v=Gh_LzoliD6A
- 文字&关键字&标签 => 模型
绘画软件SubstancePatiner
个人认为最好是
- Substance Painter 通过关键字生成笔刷Mask贴图，或者材质笔刷。
- 模仿Substance Painter 对模型的某个材质或者某个区域添加关键字。
在此基础上可以通过给指定区域（绘制Mask）添加标签以及细致标签可以达到更加精确的效果。但我们还需要选择开发基础软件，我推荐Blender与UE：
宿主软件选择&开发思路&开发计划
从开发效率方面考虑建议，先在软件现成功能的基础上进行开发，再原型确定之后再分别移植到其他的软件上。这里推荐UnrealEngine与Blender。同时Blender的SendToUnrealEngine插件相比其他DCC Send To UE插件，功能更好。所以建议如下：
- 模仿普罗米修斯建立一个资产管理工具&数据及控制中心（下文简称MetaCenter）
- 建议使用Electron进行开发（重界面轻功能推荐使用Electron开发速度快，前后端人员可以上手；其他还是有React Native等）
- 其优势在于有良好的人机学习环境，用户在整理资产的过程就是AI学习的过程。同时用户社区分享预设也可以起到一个评分系统的作用。
- 同时也可以作为今后给资产打Tag的基础工具。
- 建议让杨萱羽花时间去摸索一下，总结功能以及工作流程。
- 规避资产库版权问题#资产库问题
- Blender基础上开发AI辅助绘制贴图插件（需要知道Blender的贴图绘制距离SP还差哪些功能）
- 推荐的参考对象是dDo（以多种特征贴图来生成细节）以及SubstancePainter的AI功能。
- 关键字生成笔刷Mask贴图，或者材质笔刷。
- 通过对模型的某个材质或者某个区域添加关键字的方式来生成区域贴图。
- 建议找一个对Blender以及Python都很了解的人去评估一下。
- UE基础上开发场景摆放&语义控制&连接MetaCenter
- 具体参考polygonflow.io以及普罗米修斯
- 图片生成点云功能方便设计以及搭建场景（影视向）
- 第二期开发可以考虑VR摆场景
插件承载载体推荐使用Blender
Blender具有一个比较完善的插件市场
- Blender具有比较完整的绘画以及3D工具
- Convert Ai generated 2D images to 3D models for use in Blender and Gravity Sketch. https://www.youtube.com/watch?v=Wf-OmHyFduo
开发思路
假设一个物体（剑）是由很多个小物体组成的，我们要给房子绘制贴图。这里我们需要考虑提供哪些信息给AI，并且考虑如何做加法/减法来达到最终的目的（调整以下行为的顺序）：
- 给AI一个3D模型
- 参考dDo给剑不同材质、颜色区域指定不同的纯色。（AI无法判断整体，但对细致的区域学习较快）
- 给每个纯色区域一个或者多个关键字
- 给纯色区域的过渡区域一个关键词
- 以辅助绘制的方式，在模型上绘制BaseColor或者NormalMap
- 在模型上绘制 重新计算区域让AI重新生成
- 给AI参考图（3视图 =>大致印象参考图）
优势在于：
- 有良好的人机学习环境。
- 递进式的创建工作。
风格化贴图
对大规模卡通&风格化资产打标签，来让AI学习。 资产来源可以是Taobao（剑网三、龙之谷等）以及游戏提取资产。
UE插件方案参考
普罗米修斯的方案很好实现了用户与AI模型的交互，在用户的使用就可以不断训练AI。
- 根据照片&关键词快速从 Quixel或者其他免费资产库中找到资产，并且导入UE中（甚至摆放好）
- www.polygonflow.io 【【AI教程】地编又要降工资了？UE5地编全新AI辅助工具问世！】 【精准空降到 01:06】 https://www.bilibili.com/video/BV1VN411p7FF/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e&t=66
- 普罗米修斯
- Meta Data(外部工具编辑资产的Meta数据)
- 【普罗米修斯AI插件在虚幻引擎的基础教程Artificial Intelligence That Builds Virtual Worlds】 【精准空降到 06:15】 https://www.bilibili.com/video/BV1gM411K7Up/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e&t=375
- 【普罗米修斯AI插件在虚幻引擎的基础教程Artificial Intelligence That Builds Virtual Worlds】 【精准空降到 10:34】 https://www.bilibili.com/video/BV1gM411K7Up/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e&t=634
- https://youtu.be/hA0MsGWvmzs?si=3WK8T4WfNqj71rRw&t=1386
- 资源添加
- 关键词语生成资产摆放
- 识别本地资产并且创建标签
- 资产智能摆放
- 100%程序化流程（代表所有操作都是可逆的或者是节点化的）
- 外部程序 <==> UE 相互拖拽
- 社区互动
- Meta Data(外部工具编辑资产的Meta数据)
问题&解答
资产库问题
普罗米修斯的方案是组织用户自己的资产库；polygonflow是UE插件，连接到MegaScane Bridge可以规避版权问题。
其他资产来源&应用
- taobao可以购买龙之谷等以前游戏的资产。
- SubstancePainter AI笔刷 https://www.artstation.com/artwork/038Qz5
- https://substance3d.adobe.com/magazine/ai-power-2d-painting-a-massive-boost-for-substance-alchemist/
- Stylized Environment Texturing in Mixer:https://www.youtube.com/watch?v=kg4YFS6b0ek
其他待讨论的问题
- 目标是什么？什么应用场景？使用AI生产模型以及贴图？大概需要多少样本？（样本可能不够）
- 是否以最终效果作为判断依据：以蓝色协议这种二次元游戏来说，他定制了渲染管线，贴图除了颜色贴图，还有一些控制渲染变量用的贴图、以及一些不方便导出的渲染变量。环境物体主要的颜色贴图、法线贴图、Roughness、Metallic。角色贴图会有一些卡通效果控制类的，那些贴图意义不大。(环境物体可能还会做一次SNN滤镜)
- 使用材质修改颜色的换皮怪是否会影响最后的训练结果？
- 最终输出哪些东西？ 与游戏目录结构相同的文件目录以及对应贴图模型文件、附带一个Model=>Textures JSON? 场景StaticMesh，是否包含骨骼模型？
- 是否需要Motion？
个人认为直接上手二次元比较难，还是倾向于PBR或是偏向pbr的卡通渲染&风格化渲染。
- DDO绘制流程:https://www.bilibili.com/video/BV18K4y1b7qe/?spm_id_from=333.337.search-card.all.click&vd_source=d47c0bb42f9c72fd7d74562185cee290
- PBR资产库比较多，一些AI场景工具，直接根据图片来查找Quixel或者其他资产库的资产，并且下载到项目里。
模型贴图对应方式
Model => MaterialInstance => Textures { [ { Model:/Model/1.fbx, Textures:[ /Model/Textures/1.tga, /Model/Textures/2.tga, /Model/Textures/3.tga, ] } ] }