Вообще-то, главная ошибка в том, что сначала мы включаем ДВА разных автоматических механизма для изменеия чего либо ОДНОГО
В нашем случае - позиции одних и тех же дочерних элементов таскает как GridLayout, так и ScrollBox

И чего потом удивляться, что работает первый механизм, а не второй... Или наоборот - второй, а не первый...

Правильно делать надо так: ScrollBox таскает панель, а GridLayout - элементы внутри панели.
И никаких проблем - каждый занимается своим делом, не мешая друг другу