С каким
По моему, так проблемы просто в логике схемы....

Вот еще, типа комментарий со стороны.
Если Вы намерены самостоятельно управлять размерами и положением "панелек" -- так ДЕЛАЙТЕ это. БЕЗ всяких там GridLayout
Он тоже таковым типа занимается.
Мысль такая, что услужливый дурак (GridLayout) - опаснее врага.
Он делает, Вы делаете - кто потом в результате разберется.

В принципе, похожее я делал в калькуляторе. БЕЗ всяких там GridLayout
Схема не маленькая... Но и не такая уж и большая