既婚の自分にデートの誘い

周囲には話せる相手がいないのでこちらで失礼します。
半年ほど前から、アバターゲーム（セカンドライフのようなもの)を始めました。
そこで知り合った彼(47歳バツイチ子供無し現在独身東京在住)と惹かれ合い、ゲーム内システムで夫婦となりました。

それだけですんでいればよかったのですが、ゲームだけでは足りなくなってしまい、オフラインで会ってデートをしました。
それまでに写メ交換や携帯番号教えあって、今では毎日電話でやりとりをしています。

彼は私（30歳静岡在住)が既婚で子供（3歳）がいることを知っています。
円満とはいきませんが、家庭内不和がないことも知っています。
自分の外見（肥満体型です）から1回会えば幻滅して熱も冷めるだろうと思いきや、デートの別れ際に「またね」と言われ次のデートの計画話が持ち上がっています。

会えばさらに心惹かれるのはお互いにわかっています。
正直な気持ちとしては彼にすごく会いたいです。
これをきっかけに離婚することになっても自分はかまいません。
ですが、彼に迷惑がかかるのだけは避けたいです。
これから先は分かりませんが、今のところ性的接触はありません。

それらを踏まえ、次のデートにはやはり行かない方がいいのでしょうか。