آشنایی با Camera Tracking

در این سری از مطالب، به منظور آشنایی شما عزیزان با مباحث جلوه های ویژه، در چند قسمت مفاهیم و نیازمندهایی شروع کار را مرور خواهیم کرد، در این قسمت آشنایی با Camera Tracking در VFX را مطالعه خواهید کرد. ترکینگ دوربین یکی از تکنیک های همییشگی در صنعت جلوه های ویژه می باشد که می بایست برای ورود به این صنعت حتما مطالبی را در مورد آن بدانید. در صورتی که به ساخت جلوه های ویژه علاقمند هستید، با مطالعه این سری از مطالب، میتوانید مسیر خود را در این صنعت بهتر پیدا نمایید.

Camera Tracking

اجازه دهید در مورد Camera Tracking بیشتر صحبت کنیم Camera Tracking .یا Match Moving یا 3D Tracking یا Camera Finding به روشهایی گفته می شود که توسط آنها میتوان موقعیت دوربین را در یک ویدیو از قبل تهیه شده مشخص نمود.

هدف از ترکینگ دوربین، مشخص کردن موقعیت مکانی، زاویه، چرخش و مسیر حرکت آن در صحنه است تا بتوان با دریافت و تشخیص این حرکت و موقعیت، بتوان ترکیب درستی از تصاویریا مدلهای سه بعدی را ایجاد نمود.

به زبان ساده تر، شما توسط دوربین، از یک صحنه فیلم برداری کرده اید و می خواهید یک مدل سه بعدی را بروی فیلم واقعی قرار دهید.

برای مثال فیلم Transformer را تجسم کنید. روبات های سه بعدی که در یک نرم افزار مدلسازی شده و رندر شده اند قرار است به یک ویدیو اضافه شوند. اگر قرار بود که اینکار را در یک فریم انجام دهید خوب خیلی ساده و راحت بود اما زمانی که شما قصد دارید یک یا چند مدل سه بعدی را بروی یک ویدیو (shot) قرار دهید، تراز کردن مدل سه بعدی با صحنه فیلم برداری شده، و اینکه مدل شما دقیقا بروی زمین قرار بگیرد، بسیار سخت تر خواهد بود.

سختی اینکار به خاطر این است که ما نمیدانیم که در نرم افزار سه بعدی خود ( فرضا 3ds Max یا Mayaو .. ) از چه زاویه ای باید مدلهای سه بعدی را رندر کنیم و یا اینکه دوربین را در چه مختصاتی قرار دهیم تا دقیقا مانند دوربین واقعی ما که با آن فیلم برداری شده است رندر شود، تا زمانی که بروی فیلم قرار میگیرند به گونه ای دیده شوند که با زاویه دوربین واقعی ما که فیلم را تهیه کرده، یکسان باشد.

خوب این یکی از کارهایی است که Camera Tracker ها انجام می دهند به این علت که دو یا چند تصویر را با هم منطبق می کنند به Match Moving ها نیز معرف شده اند.

یعنی با استفاده از روشها و الگوریتم های خاص، کاری میکنند که مشخص می شود دوربینی که فیلم مورد نظر را تهیه کرده است در چه مختصاتی از فضا قرار داشته و چه مسیری راه پیموده و چقدر از صحنه فاصله داشته است.

بعد از آن به راحتی دوربین را در نرم افزار سه بعدی خود مطابق با اطلاعات بدست آمده از دوربین فیلم مورد نظر قرار می دهیم.پس در یک کلام ما با استفاده از نرم افزارهای Camera Tracking یا Match Moving کاری میکنیم که مختصات دوربینی که با آن فیلم برداری کرده ایم را بدست آوریم.

بعد از آن که مختصات دوربین بدست آمد، میتوانیم دوربین نرم افزار سه بعدی را که با آن کار میکنیم ( مانند Maya ) را در همان موقعیت قرار دهیم . حال مطمئن هستیم که اگر از صحنه سه بعدی خود که دوربین آن منطبق بر دوربین واقعی موجود در ویدیو بوده است، رندری تهیه کنیم، تصویر بدست آمده بروی ویدیوی مورد نظر کاملا منطبق خواهد شد.

Object Tracking

این ابتدایی ترین کار یک نرم افزار Camera Track می باشد. کار دیگری که این نرم افزارها انجام می دهند این است که موقعیت عناصر موجود در تصویر را در فضا مشخص میکنند.

مثلا موقعیت زمین، دیوارها، اشیا ( مانند ماشین ها، شخصیت ها و … ) .خوب فرض کنید شما یک صحنه از سطح خیابان را فیلم برداری کرده اید که مردم و ماشین ها در حال حرکت هستند و قصد دارید یک شخصیت سه بعدی مانند یک غول را به گونه ای در صحنه قرار دهید که بروی سطح خیابان در حرکت باشد. و یا اینکه موجود مورد نظر شما بروی سقف یکی از ماشین هایی که در حال حرکت است قرار بگیرد.

باز هم شما می بایست با استفاده از نرم افزارهای ردگیری دوربین یا همان Camera Tracking ها ، موقعیت عناصری مانند سطح زمین، سطح سقف ماشین و … را بدست آورده و آن مختصات را به نرم افزار سه بعدی خود منتقل کنید. حال میتوانید با استفاده از آن مختصات مدل سه بعدی خود را متحرک نموده و رندر کنید.

با اینکار میتوانید تصاویر را بعد از فیلم برداری جابجا کنید، پاک کنید، حذف کنید، اصلاح کنید و هر عمل دیگری را بروی آن انجام دهید.

از دیگر کاربردهای نرم افزارهای Camera Track این است که اندازه ها را در فیلم بدست آورد. به عنوان مثال فرض کنید شما از یک صحنه فیلم برداری کرده اید و می خواهید بدانید که فاصله دو نقطه ای که در ویدیو وجود دارد چقدر است. Camera Tracking ها روشهایی برای بدست آوردن فاصله ها در یک شات ویدیویی در اختیار شما قرار میدهند.
کارهای دیگری که میتوانید با ترکینگ دوربین ها انجام دهید عبارتند از object Tracking , Depth Finding , Matching تبدیل فیلم های دوبعدی به سه بعدی،اصلاح لنز(Lens Distortion) و … که در قسمت های دیگر ساخت جلوهای ویژه به دقت بررسی خواهند شد.

به عنوان مثال از Object Tracking برای انطباق مدل سه بعدی با عناصر صحنه استفاده می شود. به عنوان مثال در فیلم IronMan ، برای قرار دادن مدل روبات بروی بدن بازیگر از روشهای Object Tracking استفاده می شود.

البته Object Tracking یکی از بخش های اینکار است و این عمل تلفیقی از چند روش می باشد. در یک بخش آموزشی به طور مفصل به این روش خواهیم پرداخت اما اکنون می خواهیم بروی ردگیری دوربین متمرکز شویم. امیدوارم که مفهوم و دلیل استفاده از Camera Tracking را متوجه شده باشید.

متاسفانه باید در اینجا همه چیز را به صورت کلی و خلاصه مطرح کنم وگرنه برای هر کدام از روشها باید چندین کتاب نوشته شود . در نتیجه توقع دارم که دوستانی که این مطلب را می خوانند و قصد تمرین در این زمینه را دارند مفاهیم را درک کرده و خودشان تمرین های لازم را انجام دهند.
پس هدف استفاده از نرم افزارهای ترکینگ دوربین بدست آوردن مختصات دوربین، مسیر حرکت دوربین، حرکت موضوعات درون صحنه، مختصات نقاط مورد نظر درون صحنه، بدست آوردن سطح تراز، سطح زمین ، دیوارها، کف، سقف، زوایا ، فواصل، پیدا کردن عمق صحنه ، اصلاح لنز،تثبت تصویر (Stabilization) و تهیه فیلم های سه بعدی (3D Movie) از فیلم های دو بعدی می باشد که با توجه به نوع کاربری آن، نرم افزارهای ویژه ای با همین تکنیک برای اینکار به وجود آمده است. از این سری میتوان به سه بعدی کردن ( stereo 3d ) فیلم تایتانیک جیمز کامرون اشاره کرد.

اما در مبحث ردگیری دوربین، ما سه نوع متفاوت از نرم افزارهای Camera Tracking در اختیار داریم که به نحوه عمل آنها برمیگردد.

2D Tracking , 2.5D Tracking , 3D Tracking . در روش اول آنچه می خواهیم از نرم افزار بدست آوریم به صورت یک صفحه می باشد. یعنی مختصات های بدست آمده شامل نقاط، خطوط و در نهایت یک صفحه می باشد. کاربری این دسته از نرم افزارها و نرم افزارهای 2.5D در حقیقت بیشتر برای عملیات رتوسکوپی و Image Replacement می باشد.

Image Replacement به تکنیکی گفته می شود که درآن تصاویر مورد نظر شما جایگزین قسمت هایی در ویدیو می شود. به عنوان مثال شما از یک صحنه فیلم برداری کرده اید که در آن یک تابلو قرار دارد. شما میتوانید یک تصویر را بجای تصویر تابلوی موجود در فیلم قرار دهید. یا اینکه در اکثر صحنه هایی که در آنها تلویزیون یا مانیتور یا تبلت و … وجود دارد به دلایل مختلف می خواهید تصویری را جایگزین تصاویر آنها کنید و … .

اگر نقاطی که در حال استخراج آنها هستید بروی یک سطح عمود یا در زاویه کمی نسبت به دوربین واقع شده باشند به این کار 2D Tracking گویند. اما اگر این نقاط به سمت عمق تصویر رفته باشند یا به زبان ساده تر در حالت پرسپکتیو قرار داشته باشند به این کار 2.5D یا 3/4 Perspective یا pseudo 3D گویند.

در حقیقت دو و نیم بعدی حالتی مابین سه بعدی و دو بعدی است. حالت سه بعدی هم کاملا مشخص است که چگونه عمل میکند. همانطور که عرض شد Camera Tracking روشی برای پیدا کردن نقاط در تصویر می باشد. پس در حالت دوبعدی ما مختصات X, Y از هر نقطه و درحالت سه بعدی مختصات X, Y ,Z از هر نقطه بدست خواهیم آورد؟ اما نکته ای که باقی می ماند این است که در نرم افزارهایی که به صورت 2.5D عمل میکنند، مختصاتی که از نقاط بدست می آید به چه ساختاری می باید باشد؟ اگر بتوانید این موضوع را حل کنید، مطمئن شوید که روش های 2D و 2.5D و 3D را درک کرده اید.

در این بین ما سه نوع دسترسی به نرم افزارها داریم. نرم افزارهای انحصاری Camera Tracking ، نرم افزارهای ایجاد افکت ویدیویی که در درون خود Camera Tracking دارند و حالت سوم پلاگین های Camera Tracking.هر کدام از این نرم افزارها قدرت و قابلیت های منحصر به فردی دارند، که سعی می کنم به صورت خلاصه در مورد هر یک توضیحاتی را بدهم.
یک اصل اساسی در تکنولوژی نوین وجود دارد که می گوید، تکنولوژی از صنایع نظامی می آید و سپس در صنایع دیگر گسترده می شود.

در اینجا هم عینا همین قضیه صدق میکند. وزارت دفاع آمریکا برای تکمیل سیستم هدایت موشکی خود از روش ردگیری دوربین استفاده کرد. این تکنولوژی به موشک کمک میکرد که با تصاویری که در مسیر حرکت خود توسط دوربین نصب شده بروی موشک بدست می آورد، هدایت خود را به صورت هوشمند در دست بگیرد و مسیر خود را تا رسیدن به موقعیت مورد نظر با روش Point Tracking اصلاح کند.

بعدها در سالهای بین 1980 تا 1990 این تکنولوژی به تدریج به سمت ساخت جلوه های ویژه کشیده شد. گفته شده است که اولین بار تکنیک Camera Tracking در سریالهای تلویزیونی استفاده شد که انحصارا از نوع روش 2D بود است.

یکی از کاربردهای دیگر ترکینگ دوربین برای تثبت دوربین و کاهش لرزش و تکانهای دوربین است که به stabilization شهرت دارد. در سالهای اولیه Tracking بیشتر برای این منظور استفاده می شد و لرزشهای دوربین را با آن اصلاح میکردند.

تا اینکه یکی از قدرتمند ترین شرکت های ساخت و تولید جلوه های ویژه در دنیا به نام Industrial light and magic که به ILM شهرت دارد تصمیم به ساخت فیلم پارک ژوراسیک گرفت. در اینجا بود که ILM به این نتیجه رسید که روش 2D کارایی لازم را برای آنها ندارد و باید به سراغ روشهای 3D بروند. این روش توسعه پیدا کرد تا اینکه امروزه صنعت جلوه های ویژه بدون Camera Tracking غیر قابل تصور نمود.

Object Removal

از دیگر کاربردهای آن ، مباحث Object Removal می باشد. این روش بیشتر در مباحث پاک سازی فیلم و یا همان رتوسکوپی و Roto Paint استفاده می شود به گونه ای که در کوچکترین کارها چه ساخت فیلم ها و چه تبلیغات و … از یکی از خصوصیات Camera Tracking استفاده خواهد شد. پاک کردن طناب های متصل به بازیگران برای کمک به پریدن آنها، اصلاح مشکلات تصویر و … از جمله کارهایی است که متکی به روشهای Camera Tracking و Point Tracking است.

نرم افزار قدرتمند Flame یکی از اولین نرم افزارهایی بود که ویژه کاربران VFX ساخته شده بود و هدف آن کمک به ساخت جلوه های رایانه ای بود. این نرم افزار در سال 92 به دنیا معرفی شده بود و یکی از توانایی های آن گزینه های Roto Paint و Rotoscope بود. تاریخچه این موضوع را میتوانید با اندکی وقت در اینترنت جستجو نمایید و ما هم قصد بیان آن را نداریم. اما علت بیان آن این است که بدانید هر کدام از نرم افزارهای این مبحث چگونه و برای چه به وجود آمدند.
در روش 2D همانطور که ذکر شد نیاز ما دریافت یک سطح در تصویر و track کردن یا ردگیری نقاط آن است. به عنوان مثال یک تابلو، صفحه مانیتور، قسمتی از بدنه یک ماشین و …

همانطور که متوجه شدید عموما این حالت در وضعیت 2D یک شکل مستطیلی خواهد بود. مثلا همان تابلو و یا صفحه مانیتور. اگر ما چهار نقطه از چهار راس آن را داشته باشیم میتوانیم عملیات ردگیری را انجام دهیم.

به همین علت است که به این روش در برخی از الگوریتم ها 4p یا 4point نیز میگویند. اما در روش سه بعدی کار بسیار پیچیده تر و الگوریتم آن نیز بسیار بسیار پیجیده می باشد. در این روش برای پیدا کردن اصطلاعات صحنه فیلم برداری شده به بیش از چهار نقطه نیاز است. گفته می شود که حداقل نیاز در صحنه های بسیار ساده از 8 تا 20 نقطه است. البته در پروژه های بزرگ و پیچیده گاهی ده ها، صدها و هزاران نقطه را برای افزایش دقت T می بایست پردازش نماییم.

ترکینگ دوربین

خوب اجازه دهید برخی از روشهای ترکینگ نقاط را با یکدیگر بررسی نماییم. قبل از هر چیزباز تاکید میکنیم که نرم افزارهای ترکینگ دوربین و نقاط، با استفاده از نقاط خاصی در تصویر و پردازش آن و تحلیل فاصله ها و حابجایی آن نقاط موقعیت دوربین بدست آمده و اطلاعات دیگری از صحنه را استخراج میکند.

این اطلاعات شامل موقعیت عناصر، سطوح، جابجایی موضوعات و … خواهد بود. اما این نقاط خاص که قرار است از طریق آنها اطلاعات صحنه بدست آید از کجا انتخاب می شوند؟

در این مبحث دو نوع متفاوت از تصاویر وجود دارد. نوع اول نقاط کمکی توسط خود ما به صحنه اضافه می شود که به آنها نشانه یا Marker گویند و نوع دوم تصاویری هستند که امکان اضافه کردن نقاط به آنها وجود ندارد و یا اینکه قبلا فیلم برداری شده اند.

عموما تصاویری که خارج از استودیو گرفته می شود و در فضای باز هستند از اینگونه تصاویر می باشند. در حالتی که ما خودمان نقاط را به صحنه اضافه میکنیم، کار ردیابی نقاط ساده تر و دقیقتر انجام می شود. زیرا به برنامه می فهمانیم که این نقاط را برای ردگیری انتخاب کند.

اما در حالت دوم، به علت اینکه نقاط مشخصی در صحنه وجود ندارد، از هر چیزی در صحنه استفاده میکنم. به عنوان مثال لک روی دیوار، سنگ روی زمین، خال روی صورت، لبه اجسام، اختلاف رنگ های درون صحنه و هر چیزی که بتوان به عنوان یک عنصر مشخص در صحنه انتخاب کرد تا نرم افزار بتواند با ردگیری آن در طول فریم ها متوجه شود که چه اتفاقی در صحنه در حال رخ دادن است. هر چه تعداد این نقاط بیشتر باشد، بدست آمدن جواب صحیح و درست راحتتر و سریعتر خواهد بود.

خوب تا اینجا متوجه شدیم که اینگونه نرم افزارها، با ردگیری نقاط یا المانهایی در تصویر متوجه می شوند که فاصله و موقعیت و حرکت دوربین و دیگر موضوعات درون صحنه چگونه است. اما چگونه این اتفاق می افتد. اگر بدانید که یک نرم افزار Camera Tracking چگونه عمل میکند بهتر میتوانید از آن استفاده کنید.

فرض کنید شما در حال تماشای یک تابلو در خیابان هستید. در صورتی که شما در حرکت باشید موقعیت لبه های تابلو نسبت به شما تغییر میکند. این تغییرات در مغز شما پردازش شده و متوجه می شوید که با چه زاویه ای ( حدودی ) در حال تماشای تابلو هستید. به عنوان مثال اگر چهار نقطه تابلو به صورت مستطیل کامل باشد، مغز ابن برداشت را میکند که شما در حال تماشای آن به صورت عمود هستید.

یعنی اینکه شما روبروی تابلو قرار دارید ( فرض کنید چشم شما دوربین است). حال اگر محل خود را تغییر دهید و از تابلو فاصله بگیرید، این مستطیل کوچک و کوچکتر می شود و شما درک میکنید که در چشم شما (دوربین ) در حال فاصله گرفتن از تابلو است.

حال اگر از روبروی تابلو به کنار بروید، هر چه از زاویه عمود فاصله بگیرید و از پهلو به تابلو نگاه کنید، این مستطیل به حالت پرسپکتیو دیده شده و …. .در حقیقت تغییر فاصله چهار نقطه لبه تابلو نسبت به چشم شما (دوربین) باعث می شود که مغز انسان موقعیت قرار گیری خود و یا تابلو را نسبت به خود درک کند.

اما آیا شما متوجه می شوید که تابلو در کجای کره زمین قرار دارد؟ مسلما جواب شما منفی است. شما موقعیت تابلو را نسبت به چشم خود ( دوربین ) بدست می آورید و همین برای شما کفایت میکند. در نرم افزارهای ترکینگ دوربین هم دقیقا همین اتفاق خواهد افتاد.

شما نقاط مشخصی را برای نرم افزار مشخص میکند (مثلا همان چهار لبه تابلو )، الگوریتم های ریاضی تعریف شده در نرم افزار که مهمترین و معروفترین آنها الگوریتم Fraud می باشد، در هر فریم مشخصات و موقعیت چهار نقطه را نسبت به بگدیگر تحلیل و تجزیه می کنند ، از فاصله و زاویه نقاط نسبت به یکدیگر در هر فریم و فریم های قبلی و بعدی، و تحلیل آنها علاوه بر ردگیری آن نقاط ، اطلاعات صحنه را بدست می آورند.

حال هرچه این نقاط بیشتر و واضح تر باشد، به گونه ای که در تمام فریم هایی که در نرم افزار در حال پردازش آنهاست آن نقاط قابل تشخصی باشند، نرم افزار با دقت بالاتری مشخصات صحنه را تحلیل و آنالیز میکند. پردازش این اطلاعات بسیار پیچیده است به همین جهت هر چه تعداد نقاط ردگیری بیشتر باشد و تعداد فریم ها بالاتر رود، زمان محاسبه آنها به صورت تصاعدی بالا می رود.

تا اینجا متوجه شدیم که ما در تصاویر خود به نقاط یا المانهایی برای ردگیری نیاز داریم. در برخی از موارد ما فقط می خواهیم که به عنوان مثال تصویر یک تابلو یا یک مانیتور را تغییر دهیم، خوب 4 نقطه برای اینکار کفایت میکند. اما بدست آوردن مختصات سه بعدی صحنه و یا موقعیت و حرکت دوربین با 4 نقطه قابل ردگیری نیست. الگوریتم های برای درک به تقداد بیشتری نقطه نیاز دارند.

همانطور که ذکر شد این نقاط بسته به نوع نرم افزار ( الگوریتم استفاده شده ) حداقل از 8 تا 12 عدد در ذکر شده است.حتما در پشت صحنه ها و تبلیغاتی که در اینترنت وجود دارد تصاویری را دیده اید که در پشت سر بازیگر و یا بروی لباس با صورت یا دست بازیگران نقاطی قرار داده شده است. به عنوان مثال در فیلم مرد آهنی یا دزدان دریایی کاراییب ، بروی بدن کاراکتر اصلی لباسی پوشانده شده که سراسر نقاط و یا زوایای قابل ردگیری است. توجه کنید در این لحظه ما کاری به روش پردازش نداریم و فقط می خواهیم علت وجود این نقاط را بررسی کنیم. در بسیاری از صحنه هایی که توسط پرده های آبی و سبز فیلم برداری می شود بروی پرده ، دیوار، زمین و … نشانه های یا همان Marker هایی قرار داده می شود. اما این علائم به چه صورتی باید باشد؟

همانطور که در تصاویر این مطلب دیده اید و یا در پشت صحنه های جلوه های ویژه ملاحظه کرده اید، Marker ها به صورت های متنوعی هستند. در تصویر زیر شایع ترین این نشانه ها را می توانید ملاحظه نمایید.

میتوانید به عنوان تحقیق بررسی کنید که چگونه از آنها استفاده کنید. اینکه Markerها را کجا و در چه فاصله ای و از چه نوعی استفاده کنید دلایلی منطقی دارند که میتوانید در مورد آن تحقیق کنید. با توجه به اینکه صحبت در مورد آنها بسیار طولانی خواهد شد، این موضوع را به همان دوره های آموزشی محول میکنیم. البته در جامعه مجازی رندرینگ و جلوه های ویژه میتوانید در مورد آنها بحث و تبادل نظر کنید.

نرم افزارهای Camera Tracking حالات متنوعی را در ردگیری نقاط در احتیار شما قرار می دهند. به عنوان مثال همگی آنها روشی به نام Auto Detection دارند که در آن خودشان به صورت خودکار نقاطی را از صحنه شما انتخاب کرده و آنها را ردگیری و پردازش میکنند. شما می توانید همیشه از این روش استفاده کنید. برای تکمیل کار به روش دستی میتوانید نقاط مورد نظرتان را در صورتی که نرم افزار آن را تشخیص نداده است به نقاط ردگیری اضافه نمایید.

توجه کنید که نقاط هر چه متمایز تر باشند بهتر ردگیری می شوند. پس توصیه اول این است که قبل از اینکه ویدیوی خود را به این نرم افزارهای منتقل کنید، حتما با ابزارهای Color Correction، Balance , Contrast , Level , Brightnes و … رنگ ها را دستکاری کنید تا نقاط به شدت متمایز شوند.

توجه کنید که ما از این تصویر فقط برای بدست آوردن اطلاعات استفاده میکنیم پس نگران خراب شده آن نباشید . تا میتوانید Contrast نقاط را افزایش دهید. این بدان معنی است که رنگ های روشن را روشنتر و تاریک را تاریکتر میکنید. در نتیجه نرم افزار به راحتی نقاط را در فریم های متوالی شناسایی و ردگیری میکند. تمام تلاش شما در این Camera Tracking این است که به کمک نرم افزار بیایید تا نقاط بیشتر و دقیقتری را ردگیری کند.

هر ساله الگوریتم های ترکینگ بهبود پیدا میکنند و شما با مشاهده پشت صحنه تولیدات سینمایی میتوانید با بهترین روشها مارکر گزاری آشنا شوید و در پروژه های خود از آنها استفاده نمایید.