労働の悩み相談のります

はじめまして😃

現在、市役所からの派遣のような形で短時間勤務をしています。
相談は、有給休暇を使わせてもらえないというか、休み自体を制限されて取らせてもらえません。
同じ短時間勤務が私を含め7人いるのですが 小さい子供がいる人×1、掛け持ち×1、自宅介護×1、病気持ち×1、他3人は私を含め比較的時間に自由がききます。
交渉しましたが上司は「子供や介護に関わること」以外で休むなと、勤務が短時間だから休まなくても用事を済ませられるだろうと聞き入れてもらえません。
我慢しなければならないのでしょうか？

わかりにくい文章ですみません🙇