Здравствуйте. Страх ваш вполне понятен в данной ситуации. Обычно непонятно другое, когда замужняя женщина идёт на измену, она должна понимать, что вероятность, что муж узнает, очень велика, особенно если роман затянулся. Более 70 % обманутых мужей просто разводятся с жёнами, которые им изменяли.
Поэтому, ваш выбор невелик. Перестать изменять, или прятаться от мужа и бояться дальше.
Предлагаю ещё один вариант, обратится к психологу и разобраться в себе, тогда вы сможете понять, почему вы вообще изменяете мужу, что происходит в вашей жизни и куда двигаться дальше, а там и страх пройдёт за ненадобностью.