私みたいな人がこのままバイトを続けていいのか…

真面目で頑張り屋さんですね。
主さんのその悩みを今の自分の現状を人に相談できた自分自信を褒めてあげてくださいね。

聞いていて、僕も自分自信と照らし合わせて共感出来るところがあります。

僕の場合は、クリニックでADHDという症状と診断されました。その他にアスペルガや場面かんもく症など産まれながらに強い傾向がある人が居ます。
インターネットなどでそのキーワードで調べるとすぐ出てきます。
自分の行動や言動、困っていることが当てはまるものが出てくると思います。
僕も以前、自分だけが劣っていると思いがちでしたが、自分と症状が似てる人がいて、驚いた反面、少し喜びもありました。

主さんがその症状かは僕は判断してあげることはできせんが、その線も疑ってみたらと思います。
ちなみに周りからそんなに傷つくことを言われているのに、続けられる忍耐力は素晴らしいです。今まで心無いことを言ってきた人たちが同じ立場だったら、耐えられず辞めていると思います。僕は単純に立派だと思いました。