他明知道我喜欢他，但从来不拒绝也，也不让我离开，我该怎么办