プロジェクトの参照情報はプロジェクトファイル(*.csproj)のItemGroup-Reference要素で定義されています。
通常では設定変更できないのでプロジェクトファイルをXMLファイルとして直接書き換えてしまいます。

このReference要素にはCondition属性をつけることが可能で、ビルドの構成やプラットフォームを条件に出来ます。
x64にみ参照する場合は「Condition=" '$(Platform)' == 'x64' "」といった感じです。