職場で愛想がないと噂されていました。

追記
そして、その嫌な人に誰も何も言わなかったのの理由としてもう１つ考えられるのは、その人はあなた以外の人の事もなんだかんだいつも言う人なんだという事だと思いますよ。
反対意見を言うと、自分が今度はなんだかんだ言われて面倒くさいから、
「また始まった…」
って聞き流してるんだと思います。
だいたい、そんな周りに人がたくさんいて、あなた本人が通るような所でそんな話、普通しませんよ。

その人こそ、地雷男です。
関わりあいにならないように、今まで通り挨拶だけしてあまり話さないようにね。
周りの人の反応を鑑みると、その人とからんで、変に話したりしたら、例えば変な噂ながされたり、ろくな事にならない気がします。