Rysik, так её, точки, координаты и есть A[X, Y]
Другое дело если вы желаете повернуть систему координат вокруг начала координат так, чтобы точка A[X,Y,Z] находилась в плоскости X-Y. Таких решений множество и необходимы ещё пара условий, чтобы выбрать единственную.
Ну и к примеру поворот двухмерной системы координат вокруг "0" на угол α:
x' = x*cos(α) + y*sin(α)
y' = -x*sin(α) + y*cos(α), где x, y -- старые координаты, x', y' -- новые координаты после поворота системы на угол α.
Используя последовательно эти формулы вы сможете повернуть 3D координаты в любое положение.