Theo Meta, AudioCraft tích hợp ba nền tảng trí tuệ nhân tạo (AI) của hãng gồm MusicGen, AudioGen và EnCodec. MusicGen là AI do Meta phát triển từ năm ngoái với khả năng tạo âm nhạc từ văn bản, trong khi AudioGen chuyên về về hiệu ứng âm thanh và cũng tạo các âm thanh chẳng hạn mô phỏng tiếng chó sủa, còi xe, bước chân trên sàn gỗ từ văn bản. EnCodec là bộ giải mã âm thanh dựa trên AI được giới thiệu tháng 10/2022, hỗ trợ nén và giải nén các tệp âm thanh mà không làm giảm chất lượng.
AudioCraft cũng cho phép tạo nhạc chất lượng cao mà không cần nhiều văn bản để mô tả.
Meta cho biết EnCodec đã được đào tạo từ cơ sở dữ liệu hơn 20.000 giờ âm nhạc. Tất cả các AI nền tảng đề do Meta sở hữu hoặc được cấp phép đặc biệt cho mục đích huấn luyện AI.
Đến nay, các công cụ AI tạo sinh đã có thể tạo ra hình ảnh và video với độ chân thực rất cao từ văn bản. Tuy nhiên, lĩnh vực âm thanh đang tụt lại phía sau do độ khó cao hơn.
Các công cụ AI tạo âm nhạc, ảnh, video hiện nhận phản ứng trái chiều. Đa phần các công cụ AI đều nhận chỉ trích vì hành vi vi phạm bản quyền.
Trong lĩnh vực âm nhạc, bài hát Heart on My Sleeve do AI tạo đã gây sốt với hơn 20 triệu lượt nghe vào tháng 42/2023. Sau đó bài hát đã bị các hãng thu âm cáo buộc đánh cắp sở hữu trí tuệ. Ngày 17/4, hầu hết nền tảng như Apple, Spotify, Soundcloud, Deezer đã xóa ca khúc khỏi hệ thống của mình.
Theo các chuyên gia, sự xuất hiện của các mô hình AI tạo sinh đặt ra thách thức lớn đối với ngành công nghiệp âm nhạc vốn đang phải vật lộn với vấn đề phức tạp về bản quyền. Đầu tháng 4/2023, hãng thu âm Universal Music Group đã gửi thông báo cho các dịch vụ phát trực tuyến như Spotify, Apple kêu gọi ngăn chặn các công cụ AI học hỏi và lấy giai điệu, lời bài hát từ các ca khúc hiện hành.
