Как найти место кота в 3D-мире с помощью PyTorch3D

В последнее время компьютерная графика активно используется для решения задач компьютерного зрения. В связи с чем мастодонты сферы разработки инструментов для глубокого обучения (Google и Facebook) расширяют функциональность своих фреймворков (TensorFlow и PyTorch), дифференцируемых графическими слоями. Как следствие разработаны две библиотеки TensorFlow Graphics и PyTorch3D, c помощью которых можно решать задачи, связанные с 3D-данными. В том числе найти положение камеры, с которого был захвачен кадр. В этом докладе спикер ответит на вопросы:

• какие основные компоненты 3D-сцены и что такое рендеринг;
• за что отвечают внутренние и внешние параметры камеры и как они влияют на итоговое изображение;
• как рендерить с использованием Pytorch3D;
• как определить положение камеры в 3D-пространстве по одной фотографии и трехмерной модели объекта с использованием Pytorch3D и где это может пригодиться;
• особенности реализации того же решения с использованием TensorFlow Graphics;
• какие трюки можно использовать для лучшей сходимости алгоритма.