別れたいのに別れられません。

初めて相談させていただきます。

私は30代のバツイチ、未婚の女性です。
以前働いていた職場の男性と不倫関係にあります（彼30代、妻・子供2人）。
その関係が始まったのは1年半前で、少人数の職場、同年代の異性ということで自然と親しくなりました。
最初の頃は彼もよく会いに来てくれていたのですが、だんだんと足が遠のき、今では月に3回会うか会わないか程度です。

私は今はフリーとして自宅で働いており、一日中1人でいることが殆どなので、彼が来なくなると寂しくてたまりません。
でも最近は彼に対しての私の気持ちも離れつつあるようです。それが分かっているのに、別れられません。
その理由のひとつは、フリーになってからも彼から仕事をもらっているので、別れると仕事がやりにくくなる。
もうひとつは、一人で仕事をしており、近くに友達もいないので、誰もいなくなると寂しい。
どちらかというと、後者の方が大きな理由かもしれません。

私が別れたいと言ったら、彼はすぐ承諾すると思います。

乱文ですみません。
どなたか、アドバイスをいただけないでしょうか。