私がいるだけで利用者さんが不穏になる

発達障害のある人に福祉の仕事が勤まらないとしたら、ではいったいどういう仕事なら障害者向きだと言われるのでしょうか？

どんな仕事にも人間関係はつきものです。でも主さんのように発達障害があると、その人間関係を保つこと自体が困難なのも確かです。だからこそわざわざ障害者雇用の枠で、苦手を乗り越えできるだけのことをやってみようと前向きに頑張っておられるわけではないですか？それを頭ごなしに「障害がある人に○○は無理、周りに迷惑」と健常者の価値観で決めつけてしまうと、障害者雇用の意味自体わからなくなってしまいますよ。

主さんはあくまで、今の仕事について前向きに努力するために改善点を教えてほしいというお気持ちでこのスレを立ち上げられているはずです。
そこに、あなたには適性がないから辞めなさい、という回答では何の改善策にもなっていません。

適性云々の判断は、主さんを障害者雇用で雇っている介護事業所が下せばいいことです。ここで第三者が主さんの適性云々をジャッジし退職までを促すのは、やはり行き過ぎだと思います。