结婚三年了，一直没有做避孕措施，也没有怀上，现在家里面说闲话的人很多，我现在很慌，不知道要怎么办。