気を使って嫌な思いをします

主さん、気が強いですね。

プライベートは別に良いとして、仕事中は穏和になった方が特ですよ。
主さんも、自分に対して批判的意見には御礼もなく言葉が荒めの文章になってますよ。

落ち着いて下さい。

主さんは会社に頼まれて残ったのですから、元々 一人でする人だった方に何を言われも聞き流しちゃいましょう。主さんは悪くありません。
ムカっとはしてしまうでしょうが『そうだね～、今日は落ち着いてるね。様子見て帰るよ』と言っておけばOK！！

相手がどんな風に思おうが、言おうが 構うことありません。どうせ、職場だけの付き合いなんだし、そういう人なんだと割り切ることが大切だと思いますよ。