私のグラボはGF9800GT 1GBなので
NVIDIA系列のグラボを積んでる方向けのメモです。
ラデオンでの設定方法は判りませんが、ラデオンでもHDRとAAを同時に掛けることができるようです。

ランチャーからウィンドウモードとHDRにチェックをすると
AAの設定ができません。
BloomならAAを掛ける事ができますが、HDRでもAAを掛ける事が可能なようです。
グラボからAAを掛けるという言葉が良く出ますが、グラボにも設定方法が二種類あります。
グローバル設定とプラグラム設定が存在し
前者の方でウィンドウモードでHDR+AAを共存させます。
フルスクリーンの場合はどちらで設定してもHDR+AAが反映されます。

・その設定方法
NVIDIAのコントロールパネルを表示し、3D設定の「プレビューによるイメージ設定の調整」を開き
「詳細3Dイメージを設定を使用する」にチェックをして下さい。
そして、その隣にある詳細設定をクリックし、グローバル設定でAAとAFの設定を変えるだけです。
こうすることで、ウィンドウモード時でHDRをチェックしていても
グラボ側がAAを掛けてくれます。

・問題
他のゲームやCS,Nifskope,blenderでもAAが効いてしまうので
それらの処理を軽くするためにAA,AFをオフにしなければなりません。
プログラム設定タブを開き、追加をクリックしましょう。
CSやNifskope,blenderの.exeファイルを指定し、AA、AFをオフにするだけです。
他のゲームについては一覧からお望みのゲームを選択し、設定を変更することができます。
見当たらない場合は、追加で.exeを指定しましょう。