不想被抽调到组织部，怎么处理？

问：

事业科级单位中层，待遇很好。县里面组织部长跟我们单位主要领导提了两次讲把我抽到组织部去，第一次提的时候我跟主要领导汇报了，一是待遇问题，二是年龄上不占优势了，所以不我想去，此事一段时间后也没再听到其他消息。近期，主要领导向部长汇报工作时，部长第二次提了讲抽我去，待遇可在原单位享受，主要领导又跟他汇报了差不多的话，一是我的意愿（不想去），二是发展前景（最多副科），三是家庭实际情况，同时也讲了，如果要抽，也只能服从安排。目前本人意愿是不想去，待遇和前景都不看好，且工作压力很大，现在还不清楚是不是真要抽，请问此事该如何处理方有转机（不再抽我去）。谢谢老部长。

老部长支招：