王祖賢也曾傳與林建岳有過一段情,對於這段緋聞,王祖賢表示:“我不想做第三者,所以才不想與他來往。後來他已辦了分居手續,暫時恢復單身;那大家才開始交往。”而林母卻十分不喜歡王祖賢,更氣憤的説:“他們根本就不會超過兩年,就當兒子去招妓。他出來玩了那麼久,不只玩過一個王祖賢啦。”