Именно так, поэтому я и подчеркнул Управляющие символы порт не разбирает, они для программиста
Порт оперирует БАЙТАМИ, принимает и выдаёт как раз байты "в бинарном виде" нулями и единичками, а уж как их будет интерпретировать программист -- дело программиста