勞動部長潘世偉爆出與女秘書傳不倫，稍晚傳出「行政院高層」要潘「知所進退」，根據中央社今(24)日報導，行政院發言人孫立群轉述表示，潘世偉一早即以電話向行政院長江宜樺請辭，江宜樺則表示會與潘世偉另約時間談談。
昨日周刊爆料後，潘世偉緊急召開記者會澄清說明，晚間王姓秘書也發出聲明，表明已委請律師對周刊提出加重誹謗的刑事告訴，並附帶民事求償。儘管兩方矢口否認，為了自清頻頻動作，不過仍有「行政院高層」透過平面媒體，提醒潘世偉應知所進退。
孫立群在行政院會後轉述表示，今日潘世偉並未出席院會，但一早即以電話向將揆表達造成內閣困擾的不安，提出口頭請辭，江宜樺則表示，由於事情很多加上行程滿檔，會與潘另約時間詳談，對潘世偉請辭的部分並未做出確切的決定。
勞動部政次陳益民間接證實此事，陳益民說，潘世偉上午都在開會，中午兩人短暫會面時，潘當面向他證實，確實已向江宜樺口頭請辭。據了解，王姓女秘書上午到班，下午請假。