どうしても苦手な人がいる時。

仕事をしないとか中途半端な仕事をしてミスをするなら会社に損害を与えているわけですから、誰かが注意すべきだと思います。
主さんが言いにくければ上司から注意してもらうしかないと思います。
主さんとその同僚だけが異動しないということは、上司や他の同僚はいつかいなくなるということです。今は愚痴を聞いてくれる上司が近くにいるからいいですが、上司が変われば愚痴も聞いてもらえなくなるかもしれません。ぶりっ子するような同僚を庇って主さんに他人の悪口は言うなと怒るかもしれません。
そうなる前に上司に相談して何とかした方がいいと思います。