Compareでは、CompareOrdinalはマッチせず、CompareのInvariantCultureではマッチします。Ordinal以外では「〇」文字は無視されます。

IndexOfで「〇」文字は全ての文字にヒットします。「あいうえお」くらいしか試してませんが、もしかしたらCharの全ての値にヒットするかもしれません。Ordinal以外のIndexOfでは全てこの問題が起きます。string.IndexOfも同様なので、ASP.NETなどで使う場合は注意が必要です。

さらに、同様の特徴を持った不思議な文字が多数あります。「\u01f6」?あたりがヒットしまくる文字です。あんまり多いので調べるのやめました。