超爱吃生活网 > 杂谈 > 正文

免费AI“神器”系列第九弹：“字节版Sora”突然爆火；AI 代码软件走红网络

2024-03-23 06:46 来源：网络点击：

免费AI“神器”系列第九弹：“字节版Sora”突然爆火；AI 代码软件走红网络

近期，生成式人工智能（AIGC）领域又涌现出多款创意十足的新应用。

今天，钛媒体 AGI 梳理了免费 AI " 神器 " 系列第九弹，共五款，其中不少产品再一次拓宽了我们对 AI 的想象力。

字节推出的 AI 视频生成模型—— AnimateDiff-Lightning

开源 SDXL 动漫模型—— Animagine XL 3.1

视频自动生成音效的 AI 工具—— Optimizer AI

通过摄像头能实现在纸上弹钢琴的 AI 应用—— Paper Piano 纸钢琴

截图转代码应用—— screenshot-to-code

1、 字节版 Sora：AnimateDiff-Lightning AI 视频模型

产品信息：AnimateDiff-Lightning 是字节跳动推出的文生视频大模型，该模型是从 AnimateDiff SD1.5v2 中提炼出来的，包含了 1 步、2 步、4 步和 8 步提炼模型的版本。其中，2 步、4 步和 8 步模型的生成质量非常好，为视频创作者带来更多了想象和助力。

产品功能：AnimateDiff-Lightning 能够根据文本描述生成视频，比起原来的 AnimateDiff 模型，速度提升十倍以上。同时还可以与多种不同风格的基础模型结合使用，将现有视频转换成不同风格的视频。比如将现实风格视频转换成动漫卡通风格，以满足不同视频风格创作需要。此外，AnimateDiff-Lightning 支持多步骤蒸馏模型，提供 1 步、2 步、4 步和 8 步的蒸馏模型，用户可以根据自己的需求，在生成视频的速度和质量之间做出选择，以平衡生成速度和视频质量。

体验地址：https://huggingface.co/ByteDance/AnimateDiff-Lightning?ref=top.aibase.com

论文地址 : https://arxiv.org/html/2403.12706v1

2、开源 SDXL 动漫模型—— Animagine XL 3.1

产品信息：Animagine XL3.1 是由海艺 AI 与 Cagliostro Lab 合作推出的一款开源动漫文生图模型。相较于 V3.0 版本，Animagine XL 3.1 在各方面都进行显著的技术性提升，使其对动漫作品和风格的理解更加深入，为用户提供更加强大的动漫图像生成体验。

产品功能：Animagine XL 3.1 能够根据文本提示生成高质量动漫风格图像。为了提高生成结果的准确性，Animagine XL3.1 采用了标签排序的方式，可以更准确地根据输入的标签进行生成图像，提高生成结果准确性。同时，Animagine XL 3.1 拥有 87 万张图片的数据集，极大增强了模型对各种动漫角色的识别能力；引入全新概念 " 美学标签 "，更新了质量和年份标签，不仅提高了生成图像的视觉吸引力，也确保图像风格一致性，符合更高要求的审美质量标准。

此外，Animagine XL3.1 还解决了 3.0 版本中的过曝问题，提高了生成图像的质量。通过对算法和训练过程的优化，该模型在生成图像时，能够更好地控制图像的亮度和色彩，从而避免过曝现象的出现。目前 V3.0 在 Civitai 的下载量超 7 万。

体验地址：https://huggingface.co/spaces/cagliostrolab/animagine-xl-3.1

模型下载地址：https://huggingface.co/cagliostrolab/animagine-xl-3.1?ref=top.aibase.com

3、视频生成音效的 AI 工具—— Optimizer AI

产品信息：Optimizer AI 是一款可以为视频自动生成音效的 AI 工具，旨在提升游戏开发者、艺术家和视频创作者工作效率，通过音效为视频增添更多活力。

产品功能：首先，用户输入文字提示即可生成适用于视频中各种场景的声音和音效，包括游戏音效、动画背景音和视频配乐。用户还可以通过指定风格标签（如卡通、恐怖等）来引导生成不同风格的声音。

其次，Optimizer AI 支持声音效果生成，包括变声功能，能够基于一个参考声音生成多个类似的声音。

再次，Optimizer AI 可以生成用于背景音乐或创建特定氛围的声音，并能够处理和理解文本的信息，保持生成的一致性的同时还可以生成时长更长的声音效果。

最后，即将推出的视频到声音全面生成功能将允许用户从视频中直接生成声音效果，进一步扩展声音创作的可能性。

官网地址 : https://www.optimizerai.xyz/

体验地址 : https://discord.com/invite/bgfnVaaU2n

4、通过摄像头追踪在纸上就能弹钢琴的 AI 应用—— Paper Piano 纸钢琴

产品信息： Paper Piano（纸钢琴）是一款通过摄像头追踪就能实现在任何一张白纸上弹钢琴的 AI 应用。Paper Piano（纸钢琴）的工作原理是通过在纸上预定义不同区域来代表钢琴键，当摄像头捕捉到手指触摸特定区域时，相应的音符将被生成。

产品功能： 用户只需准备两张 A4 大小的白纸模拟钢琴键盘，Paper Piano（纸钢琴）通过摄像头跟踪和手指识别技术捕捉用户的手指移动，从而实现在纸上模拟钢琴键按压，奏出美妙音乐。值得注意的是，为了确保手指追踪的准确性，系统要求在网络摄像头的设置上注意角度、高度和距离，同时光线越强，性能也会越好。

不过，目前该项目尚处于支持最多两根手指的阶段，未来将支持更多手指和更高敏感度的训练模型，为用户提供更丰富的演奏体验。这一技术的发展可能带来更多有趣的音乐应用，使用户无需购买真正的钢琴即可享受演奏的乐趣。

体验地址：https://github.com/Mayuresh1611/Paper-Piano?ref=top.aibase.com

5、截图转代码应用—— screenshot-to-code

产品信息：screenshot-to-code 是一种基于人工智能技术的创新工具，旨在帮助开发人员将图像或界面设计截图转换成可执行的代码。用户只需上传截图，即可获得整洁的网页代码，如 HTML、Tailwind CSS 和 JavaScript 等。