急な退職は、いけないと思いますが必要ないと感じています

担当さんって人は、現場の管理担当者ってことですかね。主さんの上司さんですかね。
正直、上司さんが「サボってる」というなら、サボって見えているんだと思いますよ。
自分が「サボってない」といくら言っても、自分の仕事の評価って他人がすることですからね。
その評価が正しくないかどうかは、これまた周辺の従業員や上司が決めることです。
「頑張ってる」「忙しい」という自己評価は無意味なものだと思います。

あと、上司はサボっているようで、部下には見えないところで仕事しているものですよ。

人の悪いところをあら捜しするとしんどくなりますから、自分の評価を上げることだけを考えて、可能であれば会社の利益向上も考えて、仕事していきましょう。
再就職頑張って下さいね。