抗日战争胜利后，蒋介石撕毁国共两党签订的停战协定，在全国范围内向我解放军发动疯狂进攻。为解放人民于水火之中，人民解放军只得奋起反击，解放战争随之打响。解放战争初期，谭震林任华中分局副书记、华中军区副政委兼政治部主任、华中野战军政委，并当选为中共七届中央委员。他在党中央的领导下，参加领导和指挥苏中七战七捷，接着又率部挫败敌人对山东的“重点进攻”。
1947年10月1日，在山东平度县朱阳、朱佛地区成立东线兵团（1948年3月改称山东兵团），许世友任司令员，谭震林任政治委员。兵团成立后，相继发起了胶河战役、莱阳战役。1948年1月部队开进掖县、平度、高密地区，进行“三查三整”为中心的新式整军运动。谭震林指导兵团政治部及时拟定了实施方案，并召开部队政治部主任会议。“三整三查”运动以提高干部战士阶级觉悟、提高部队战斗力为目的，有的部队在连队诉苦、查阶级成分中，出现了一些混乱现象和偏差，如运动刚开始，按上级要求对地、富家庭出身的团以上干部作出调整等。谭震林感到不妥，他认为整军应以思想建设为主，组织处理不能片面以家庭论出身，而应主要看干部本人表现。他及时与政治工作部门沟通，采取补救措施，从而避免了“左”的失误，保护了一大批德才兼备的中、高级干部。新式整军运动结束后，各部队以崭新的面貌投入胶济铁路西段战役，长途奔袭，以迅雷不及掩耳之势一举攻克周村、张店和淄川，横扫胶济西段，粉碎了蒋介石胶济线的防御体系。
