1928年春，独立第五师第一团党组织在南县开始酝酿起义，原拟起义后将队伍拉往湘西。5月，在开赴平江之前，彭德怀等组织士兵进行了一次闹饷风潮，迫使周磐不得不给每个士兵发一块钱饷金。闹饷风潮的胜利，提高了广大士兵的思想觉悟，使他们认识到自己的力量。这次闹饷实际上也成了平江起义的一次预演。
    为密切官兵关系，彭德怀取消小厨房，上自团长下至连排长，一律与士兵吃一样的饭菜；禁止官长打骂士兵，初步废除了体罚制度。彭德怀还非常关心士兵的生活，把6000元公积金以及自己的部分薪饷拿出来给士兵买蚊帐、被子，深得士兵们的拥护。党组织还以多种方式，与士兵进行广泛接触，用反动派残杀工农群众，克扣军饷，欺压打骂士兵等事实，对士兵进行思想教育，秘密组织进步士兵阅读进步书刊，启发他们的阶级觉悟。
    部队到平江后，党组织在原有工作的基础上，进一步作好组织准备和思想准备，加快起义步伐。还通过士兵委员会组织士兵演活报剧，揭露地主豪绅对农民的压迫，说明农民世世代代过穷苦日子的根源。士兵们在平江亲眼看到清乡队把捉来的“土匪”成批杀掉，大批关进监狱，他们开始怀疑，平江怎么会有这么多“土匪”？后来，部队党组织经常在驻地秘密贴出“打倒土豪分田地”、“消灭清乡队”、“工农士兵是一家”等标语，并以其他方式教育士兵，使士兵们逐渐知道“土匪”原来都是贫苦工农，清乡队是地主豪绅的武装。这样，士兵的斗争目标就由反对克扣军饷的“上峰”，逐步扩大到土豪劣绅和他们的清乡队。
     第一团第三营驻地柘树坪，是三营操坪，也是县衙门和清乡队的杀人场地。每当清乡队杀人时，三营就借口出操进行干扰，有时甚至公开与清乡队干架。清乡队对这支正规军虽然怯着几分，可是仍然在夜里躲着杀人，这就更加激起士兵们的愤慨。有一次，清乡队将30多名工农群众绑赴刑场枪杀，三营九连连长黄纯一立即率领全连上操，占领刑场，但清乡队最终还是把这些工农群众拉到另一个地方枪杀了。当天晚上，士兵们秘密贴出“打倒屠杀工农的真正土豪劣绅”的标语。第二天，全城反动派一片惊骇。县长刘作柱领着一批土豪劣绅来到一团，要求彭德怀禁止士兵的“越轨”行动，密查写标语的“暴徒”。彭德怀简单明了地对他们说：“暴徒”要铲除，真正的土豪劣绅也应打倒。
    为得到地方党组织的支持帮助，彭德怀曾采取很多办法与平江县委接上关系：一是一团党组织搞到阎仲儒的“清乡”计划，有意让从思村来的毛宗武带出；二是奉命搜山“清剿”时，总是大张旗鼓，朝天放枪，先给游击队报个信，然后在偏僻处故意扔些子弹、手榴弹，有时还附上便条：“红军不要慌，朝天放排枪；上官不发饷，我要参加共产党”，想与游击队接上关系；三是有意把当地政府和挨户团抓到的游击队员和共产党员提来审问“处置”，然后暗地里把他们放走。如黄公略将嘉义挨户团抓去的共产党员黄耀南以押到营部审讯为名，将其救出。这期间，由于环境恶劣，彭部没能与平江县委接上头，部队与游击队接触中双方也有一些伤亡，二营在福寿山的北风洞曾打死几个放哨的游击队员。
    与此同时，彭德怀、黄公略还做了大量的地形考察和对保安队、警察局的兵力部署及特务活动的调查工作，绘制了军队和民团（挨户团）的兵力分布图。李灿则和田长江到保安队驻地及监狱侦察实况。起义前李灿亲自到清乡委员会和民团常备队驻地侦察，得知民团每日12时半午睡，14时起床，这段时间除守卫外，无其他人在房外。