Можно не сдвигать позиций точек на элементах, просто временно делать их невидимыми, пусть между точек остаются проплешины. Тогда ничего не уедет.