これまでの検討から、どうやらMacのCORE AUDIO driver自体はbit perfectに対応しているものの、その上位のアプリがどのようにファイルを扱うか、というのがbit perfectな再生になるかどうかの分かれ目のようです。
どうやらAfplayやQuickTimeというアプリ自体は、CORE AUDIOに、ファイルのあるがままを引き渡していないのだと思います。これは想像ですが、これらのアプリでは、ファイルを読み込む際に32bit浮動小数点(float)として扱い、再生時に24bitに戻してCORE AUDIOに渡しているのではないでしょうか？その変換時に何らかの丸めが入るとか・・・。
また、iTunesでは44.1kHzにおいては(48kHzもそうかもしれませんが)、24bitファイルもbit perfectな再生ができていると考えられます(スペクトラムから判断して)。これは嬉しいですね。
ただ、それ以上のハイレゾファイルは、AUDIO MIDI設定でサンプリング周波数を正しく合わせたうえで再生しても、サンプリングレート変換が入ってしまうようで、スペクトラムは悪化していました(今回調べたのは96/24の場合です)。
つまり、CDからリッピングしたファイルや、The BeatlesのUSBのような44.1kHz/24bitものは、MacのiTunesで楽しめばよい、と言えそうです。
ちょっと別件ですが、Appleといえば、話題のiPadが近日iOS4.2にアップデートされるそうです。で、カメラコネクションKitとの組み合わせで、USB AUDIO ClassのAsync転送に対応するようです。おそらく、かなりの確率でUSB DUAL AUDIO基板でも、iPadでジッタフリーな (bit perfectかどうかはまた別問題ですが) 再生が楽しめるようになると考えています。