針對壹週刊今（23）天報導指勞動部長潘世偉驚爆不倫。行政院發言人孫立群說，行政院長江宜樺促潘世偉對外說明。
壹週刊報導，潘世偉一連3週的週三晚上都變裝騎單車進入女秘書香閨，每次都待到11時前才離開。對此潘世偉回應「有時候會碰到，沒有常常。」
潘世偉稍後透過機要發表聲明，強調這是子虛烏有、捏造事實，惡意散佈且誤導大眾認知的內容，必須要負起所有法律責任。
馬政府內閣成員，連連爆出緋聞，包括前公共工程會主委陳希舜、蒙藏委員會委員覺安慈仁、前行政院發言人胡幼偉和政務委員朱雲鵬等，都接連爆發緋聞；根據最新一期《壹週刊》報導，59歲的勞動部長潘世偉，疑似和小他23歲、同時也是他辦公室主任的王姓女秘書驚爆不倫。
王姓女子是潘世偉在文化大學勞工系任教時的學生，6年前被潘世偉安排在身邊當秘書，現在是辦公室主任。今年7月初，潘世偉被直擊，7天內有3個晚上，前往王女的香閨，每次都待1、2個小時；除了夜奔香閨外，潘世偉也會在早上上班時一併接送，連出差也帶著女秘書到處趴趴走。