Кнопка по факту круглая. А вот квадратная она у тебя потому, что надо использовать именно 32-х битный BMP с Alpha-каналом и включенным свойством Alpha. Или применить региональную обрезку кнопки для обычных картинок.