Серьезной задачей в системах визуализации является обеспечение различных действий с визуальными объектами при работе с трехмерной графикой. Как правило, при реализации методов непосредственного манипулирования с визуальными объектами все операции проводятся в основном окне вывода. Однако их отображение становится затруднительным при насыщении основного изображения дополнительной информацией, например, линиями уровня, наложенными на поверхности, манипуляции с визуальными объектами таких, как изменение положения и ориентации объекта в трехмерном пространстве, масштаба вывода изображения и пр. Для таких действий может быть использовано специальное окно, упрощенно повторяющее основное (аналогично некоторым компьютерным играм). В дополнительном окне и проводятся необходимые манипуляции, немедленно отображающиеся на основное изображение. Однако проблемы в этой связи остаются, так как манипуляции оказываются не всегда удобными, когда имеешь дело со сложными действиями и сложными трехмерными объектами. При реализации манипулятивных методик, основанных на применении работы с трехмерными объектами на двумерном экране, часто возникают сложности, связанные с «двухмерностью» реализации. Плоскость экрана, оставляет ему лишь две степени свободы. В большинстве случаев этого может оказаться недостаточно.