А с чем именно возникли проблемы? Предполагаю:
1) Добавить свойство "SampleSize"=[16bit-Int,8bit-Int,32bit-Float]
2) Согласно этому свойству указать размер семплов:
- в заголовке WAV (предполагаю, в WaveHdr.wBitsPerSample := 16, заодно и WaveHdr.dwBytesPerSec поправить)
- в параметрах функции BASS_RecordStart() - третий параметр flags: 0 = 16bit, BASS_SAMPLE_8BITS = 8bit, BASS_SAMPLE_FLOAT = 32 bit float.