если бипер с модема представлен в Windows как мультимедиа устройство, то регулировать его звук можно с использованием VolControl. В противном случае про эту идею можно забыть