モヤモヤしています

あなたがこの派遣先での就業をやめたからといって、その男性と何もなかったように元通りになれます？
私なら少しわだかまりが残ります

派遣会社から、今回の派遣先を紹介されたとき、そういう関係先であったなら別のところを紹介してほしいと言えばよかったですね
派遣先はあなたのことを指名することはできないのですから、派遣元があなたのこれまでの仕事ぶりの良さと、仕事内容をよくわかっているから、ということで紹介されたんでしょうけど

結論、私ならこの男性との関係だけを考えて、派遣期間中に辞めることはしないです
その男性は、そこまでの付き合いの人だったのかな、ということで
つらいですが、仕事上だけの付き合いだと思っているから、そんな言い方をされたのかな、と考えてしまいます