私が非常識でしょうか？

主さんは中間管理職とのことですが・・・
チームのトップにいるならば、チームメンバーに対して仕事の指示を出したりしないのですか？
主さんの仕事の内容が分からないから、的はずれなこと言ってたらごめんなさい。

私も中間管理職ですが、自分のチームに指示を出しながら仕事を進めています。
急に休まなければいけない場合は、前もってチームメンバーそれぞれに仕事の指示を出し
直属の上司にその状況を報告して、なるべく迷惑がかからないようにします。
１日休むにしても、それだけ段取りして、なるべく仕事に支障がでないようにするのが管理職だと思っています。

５日も休んだことがないので、そうなった場合どうするのが正しいのかは私も分かりませんが
私だったら毎日でも連絡を入れると思います。
「まだ、しばらく行けそうにありません、ご迷惑おかけしますがよろしくお願いします。」とか
「５日は安静にするように言われています。その間、人数少なくなるけど、しんどい思いさせて申し訳ない。○○の進み具合はどうですか？」とか。

私の仕事は１日で状況が変わります。
私が指示を出せない分は、直属の上司にお願いして進行してもらいます。
休むのは仕方ないけど、電話できる状況なら、パートさんに電話する前に俺らの仕事のこと考えろや！
って思われても仕方ないのかな・・・って気もします。

みなさんが言われてるように、すべてはパートさんだけに電話したことが原因だと思います。
それさえなければ、動けない状況だったんだな、仕方ないなと思ってもらえたのではないでしょうか。