به تازگی انویدیا آخرین نسخه از نرم افزار آزمایشی رایگان مبتنی بر هوش مصنوعی خود برای تولید انیمیشن صورت با استفاده از منابع صوتی را با نام Omniverse Audio2Face 2022.1 منتشر کرده است که یک سیستم جدید دریافت می‌کند. عرضه سیستم جدید Audio2Emotion، وضعیت عاطفی بازیگر را از روی صدای آن‌ها تشخیص داده و عملکرد شخصیت سه‌بعدی را مطابق با آن تنظیم می‌کند تا احساساتی مانند شادی یا درد را بیان کند. برای اطلاع از جزییات بیشتر با مازستا تا انتها همراه باشید.
عرضه سیستم جدید Audio2Emotion
فناوری زیربنایی سیستم جدید Audio2Emotion بخشی از Omniverse Avatar Cloud Engine، مجموعه‌ای از مدل‌ها و خدمات هوش مصنوعی آینده برای تولید آواتارهای آنلاین تعاملی است که توسط انویدیا در مراسم Siggraph 2022 معرفی شد.
این سیستم جدید قابلیت ایجاد همگام‌سازی خودکار لب و انیمیشن صورت برای شخصیت‌های Character Creator از فایل‌های صوتی را دارد که به تازگی ارائه شده است.
Audio2Face که اولین بار در سال گذشته منتشر شد، ابزاری آموزش دیده با هوش مصنوعی برای تولید انیمیشن چهره برای یک شخصیت سه‌بعدی از منابع صوتی یا ضبط آفلاین گفتار یا یک فید صوتی زنده است.
این نرم افزار همراه با اپلیکیشن تکمیلی Omniverse Machinima، یکی از مجموعه ابزارهای بازی جدیدی است که انویدیا در کنار Omniverse، پلتفرم همکاری real-time مبتنی بر USD توسعه می‌دهد.
همچنین علاوه بر استفاده از انیمیشنی که در خود Omniverse تولید می‌کند، کاربران می‌توانند خروجی آن را به انیمیشن مبتنی بر ترکیب برای وارد کردن به سایر برنامه‌های DCC در قالب USD تبدیل کنند.
تغییر حالات چهره به صورت خودکار برای مطابقت با وضعیت عاطفی بازیگر
Omniverse Audio2Face 2022.1 از طریق یک شبکه عصبی تمام چهره آموزش داده شده با طیف وسیعی از احساسات مانند شادی، شگفتی، خشم و غم، از احساسات چهره پشتیبانی می‌کند.
سیستم جدید Audio2Emotion وضعیت احساسی یک بازیگر را از صدای آن‌ها استنباط می‌کند و عملکرد چهره شخصیت سه‌بعدی که در حال حرکت است را بر اساس آن تنظیم می‌کند.
نتیجه، یک انیمیشن تولید شده به صورت خودکار است که نه تنها شامل مطابقت حرکات لب و صورت بوده با فایل صوتی است؛ بلکه، تغییرات بیانی که با تغییرات احساسات بازیگر هماهنگ می‌شود را در خود جای می‌دهد.
کاربران می‌توانند عملکرد را به صورت دستی یا با استفاده از مجموعه‌ای از کنترل‌های کشویی ساده و یا حتی با ویرایش معمولی فریم‌های کلیدی تنظیم کنند.
همچنین پنل Emotion جدید، یک «واسط کاربری فریم کلیدی ساده» جدید است به پنل Post-Processing نرم افزار اضافه می‌شود.
بخشی از فناوری زیربنایی Omniverse Avatar Cloud Engine آینده انویدیا
فناوری زیربنایی Audio2Face و Audio2Emotion نیز بخشی از Omniverse Avatar Cloud Engine (ACE)، «هوش مصنوعی بومی ابری برای توسعه آواتار تعاملی» جدید انویدیا است.
مجموعه مدل‌ها و خدمات هوش مصنوعی برای توسعه دهندگان نرم افزار طراحی شده است و هدف آن ساده‌سازی فرآیند ایجاد چت‌بات‌ها، دستیاران مجازی و کاراکترهای NPC در بازی‌ها و برنامه‌های real-time است.
این برنامه به گونه‌ای طراحی شده است که «پلتفرم-آگنوستیک» (Platform-Agnostic) باشد و با سخت افزارهای مختلف محدود نشود.
نسخه نمایشی بالا یک کاربر را در حال تعامل با یک شخصیت MetaHuman در موتور بازی‌سازی آنریل انجین (Unreal Engine) نشان می‌دهد که در سال آینده روی سیستم‌های تعبیه شده و تمام سرویس‌های ابری اصلی اجرا خواهد شد.
قیمت و سیستم مورد نیاز
Omniverse Audio2Face در نسخه بتا برای ویندوز 10 در دسترس است و برای اجرا به پردازنده‌های گرافیکی سری RTX انویدیا نیاز دارد. البته لازم به ذکر است که خود شرکت GeForce RTX 3070 یا RTX A4000 یا بالاتر را توصیه می‌کند. به جز این نیز همه ابزارهای Omniverse برای هنرمندان شخصی به صورت رایگان در دسترس است.
