事務は諦めるべき

現在24歳ですよね？ならまだまだ可能性はありますよ。諦めるのは早いです。
今まで応募してきた会社は、経験者を重視して採用しているから、主さんは落ちてしまっただけではないですか？たくさんの求人を見ていると、企業がどういう人材を望んでるか多少わかりますから、未経験者でも若くてヤル気がある人がいいという企業に応募すれば、受かる率は上がると思います。
とりあえず派遣会社に登録して、数年程の経験を積み、その間に資格を取るのも一つの手だと思いますが、諦めて職種の違うところで働くと、事務への転職はどんどん遠のくだけですよ。事務職がいいなら諦めてはダメ。
求人を見て、その企業は経験者がほしいのか、未経験でも若い人材がほしいのか、見極めて応募してみて下さい。