在作好思想、组织和物资准备的基础上，晋中区党委南下工作团于1949年4月底5月初离开石家庄，向河南进发。因河南安阳、新乡等城市未解放，仍被国民党军盘踞，大部队只得经邢台、邯郸绕道向东南行进。一路上，除少数地段能乘坐马车、汽车外，大多数地段靠步行。为避开敌机空袭和地面敌人的拦截，队员们走险路、小路，昼伏夜行，日夜兼程。经过1个多月的艰难跋涉，经山东卫县大名到河南濮阳的黄河岸边，在临时用民船架起的浮桥上过黄河到东明，穿越山东部分地区，然后折向西行，经河南兰考，到达中共中央中原局所在地开封。因当时南京、上海、武汉均未解放，中原局指示南下干部就地休整。晋中区南下工作团奉命乘车于5月中旬到达河南巩县，在巩县又进行了为期20多天的第二次整编。
    中共湖南地下党工委派徐千里到巩县，介绍了湖南的政治、经济和社会情况。为加强领导，上级决定原晋中区南下区党委和行署机关及所属一、二地委，冀中南下地委共1500多人进入长沙地区，晋中区党委和行署改为长沙地区和长沙专署，并明确了新的领导班子。原晋中区党委书记武光任湖南省委委员兼长沙地委书记，原晋中行署副主任张干承任长沙专署专员。长沙地区所辖各县的主要负责人也同时确定；岳阳县县委书记赵冰岩，县长罗西芳；临湘县县委书记陈继昌，县长戴之光（到武汉后，因戴有病，由郑醒接任县长）；平江县县委书记兼县长齐寿良；湘阴县县委书记华国锋（地委委员兼），县长张国权；华容县县委书记史伦，县长赵吉甫（由冀南区补充到晋中区）。
    6月8日 晚，队伍离开巩县，到达郑州。南下工作团在郑州设立留守处，部分体弱有病人员和所有女同志留郑州待命。因当时平汉铁路被国民党反动派破坏，队伍只好沿陇海铁路东行，再沿津浦铁路南下。23日，乘江汉客轮从南京逆流而上，经芜湖、安庆、九江、黄石于28日到达湖北汉口，在汉口又进行了第三次整编，对个别县的设置和人员进行了调整。
    在汉口期间，中共湖南省委召开入湘区委书记以上干部大会，会议明确了入湘后的具体任务和政策。 7月5日 ，随军南下的湖南省委在汉口召开入湘干部大会，王首道、金明、肖劲光等省党政军领导人接见了全体南下干部并讲了话。