職場で距離を置いて働くのは悪ですか？

私が今行ってる会社は主さんとは真反対な会社です。

まず、仕事中、全く私語がありません。ここ迄の会社は私も初めてで冷たすぎる印象です。

それにも増して驚いたのが休憩時間、
休憩室にテレビがありそこで皆お弁当やコンビニで買ったもの食べるんですが、まず私語がないんです。
休憩時間に誰も話をしないんです。
同じ時期に入ったパートの人と仲良いんですが、居心地悪くて最近は外へ食べに出てます。

他の派遣社員の方も、あの雰囲気が嫌で外食してると仰ってました。

うわさ話どころか私語もなし。気を遣って新人さんに話かけてくれる人今迄はいましたがそれもなし。
プライベートなんて聞かれた事もなし。仕事だけ黙々してます。

たまに古株の社員が4、5人集まればTVを見て雑談してますがめったにありません。

それはそれでヘンです。

普通は、主さんの会社、私のパート先の会社足して2で割った所でしょうか……

まだあれこれ詮索されるよりはましかもしれませんね。
色んな会社がありますね。