家を買うか賃貸か迷ってます

微妙ですね。
今から中古を買って、あと40年住み続けられるのか？
それとも老後はサービス付き高齢者住宅などに入る予定があるのか？その資金は？

資金繰りとかを無視したざっくりした提案ですが、私が主さんの立場だったら、
①こじんまりとした平屋の戸建を注文住宅で建てる。
②25〜30年住んだら、その土地家屋を売って（家の状態によって建物付きか更地で売るか変わってきますが）、そのお金＋預貯金で高齢者向け住宅に入る

お子さんがいないなら、財産を遺す必要はありませんし、ましてや不動産はその後の処分が大変です。
30〜40年後の住居計画も踏まえて決めるのがよろしいかと思います。