過去セクハラした人と関わらなきゃいけない

接しないようにすべきだと思います。
会社にはセクハラの相談窓口やホットラインはないんでしょうか。そういうところにしっかりと訴えて（できればＡ氏の発言を録音などして証拠を保持しましょう）、対処をしてもらうべきです。
セクハラが判明したとき、まず当事者を引き離すのが第一の対処です。一般には加害者を異動させます。事実の調査中でも出社を止めるなどして接触しないように対応するのが基本ですが、そういう基本を知らない会社も結構あるので注意は必要ですが。仕事が回らなくなるっていうんですよ。大事なのは仕事（つまりは儲け）より従業員ですが、わかっていない会社が多いのです。
でも、あなたはそうしないともうその部署ではやっていけないんですよね。戦うしかないんじゃないですか。