40代半ばで転職しましたが。。

転職ってなかなか難しいですよね。
採用期間との事ですが、
どれぐらい働いたのでしょう。
肉体労働は最初の半年ぐらいが一番辛いです。半年すぎると体が慣れてくるのもありますし、自分でコツを掴み楽になるのもあります。
質問者さんが危惧している通り、
私も運送業はよほど体力に自信がある方でない限り長くは出来ない仕事かなぁと思います。
40代ならまだ若いですし、
そこで一気に老後に向けての備えのお金を貯めて退職して、
50代、60代からは軽めの楽なお仕事で細々と働いていくのもいいかなと思います。