一九七八年四月，习仲勋返回北京后不久，就奉命去广东“把守祖国的南大门”。在这里，年逾六旬的他，深入实际，调查研究，努力工作，要把失去的十六年时间补回来。他团结中共广东省委和广东省革委会（后改为省人民政府）一班人，率领广东人民，开展整风运动和实践是检验真理标准的大讨论，拨乱反正，解放思想，实事求是，平反冤假错案，恢复党的优良传统和作风，全面纠正十年“文化大革命”的错误，开创了广东工作的新局面。
春节后的首都北京，虽然天气寒冷，但已透出春天的气息。习仲勋怀着对首都的深情眷恋和对党的事业的坚定信心，从河南洛阳再度回到北京。这次中央召习仲勋回京，是为了要他参加政协第五届全国委员会第一次会议。
一九七八年二月二十四日至三月八日，习仲勋作为特邀委员，出席政协第五届全国委员会第一次会议。当习仲勋出现在人民大会堂时，那些熟悉他的同志和战友们，都十分惊喜。对他们来说，历经劫难，九死一生，今日能得以相聚，实在是一大幸事。这次会议一致选举邓小平为第五届全国政协主席，习仲勋当选为全国政协常委。与此同时，第五届全国人民代表大会第一次会议也同时举行。习仲勋列席这次会议，听取了国务院总理华国锋所作的政府工作报告。会议还选举叶剑英为全国人大常委会委员长。
会议期间，叶剑英亲切接见了习仲勋。他一见到习仲勋不禁愣住了，惊讶地说：“仲勋同志，你备受磨难，身体竟还这么好！”习仲勋激动地望着年逾八旬的叶剑英，由衷地感谢他在百忙中接见自己，简要地汇报了自己的情况。习仲勋十分敬佩叶剑英在党和国家生死存亡的关键时刻，同华国锋等中央领导一起，坚决果敢地粉碎了“四人帮”反党集团，他认为这些领导人在中华民族危难时刻所起的巨大作用，将永载史册。
习仲勋和叶剑英在延安时就相识，他对叶剑英渊博的军事知识、卓越的组织指挥才能和政治上的远见卓识，十分钦佩，也很仰慕叶剑英的为人。习仲勋后来回忆说：“当时叶剑英同志年事已高，工作日夜繁忙，还抽空接见了我。他见我身体很好，非常高兴，紧紧握着我的手，鼓励我要向前看，以后多为党做工作。他那宽广的胸怀，恢宏的气度，对同志亲切、谦和、真挚和深情厚谊，使我感动得热泪盈眶。一个共产党员，还有什么比能为党多做些工作而感到幸福和自豪的呢！”
叶剑英接见习仲勋出于两方面的考虑，一方面是习仲勋被错误审查关押十六年后刚刚恢复工作，另一方面是他希望习仲勋到广东去工作。当时中共广东省委第一书记、省革命委员会主任韦国清身兼数职，既是中共中央政治局委员、全国人大常委会副委员长，这时又被任命为中国人民解放军总政治部主任，同时还兼广州军区第一政委。韦国清在北京的政务和军务十分繁忙，广东省的工作实际上难以兼顾。而广东是祖国的南大门，战略地位十分重要，那里的问题又比较复杂，还有大量的冤假错案没有平反。因此，分管广东工作的叶剑英就想到了资格老、级别高、从政经验丰富的习仲勋，考虑让他南下广州，主持广东省的日常工作。
叶剑英同华国锋、邓小平等领导人交换意见后，中共中央于四月初决定习仲勋担任中共广东省委第二书记。尽管这一职务同他当年曾经担任过的中共中央西北局主要领导人和国务院副总理的级别相差甚远，但对饱经忧患、被错误处理、关押十六年之后的习仲勋来说，能重返政坛，在有生之年为党和人民做些工作，已经感到责任很重大了！
习仲勋很快得到组织分配他到广东“把守南大门”的通知。在动身去广东之前，华国锋、叶剑英、邓小平、李先念和汪东兴等都接见了他，对习仲勋到广东工作寄予很大希望，一再指出做好广东工作具有十分重大的意义。党中央和老一辈无产阶级革命家给习仲勋以充分的信任和热情鼓励，使他深为感动，受到很大鼓舞，同时也感到责任重大。时隔多年后，他回忆说：
我已有十六年没有工作了，一出来工作就来到了祖国的南大门广东，觉得任务很重，心里不大踏实。当时，中央几位领导同志，特别是小平、剑英同志都找我谈话，要我大胆工作，来了要放手干。
接着，中共中央组织部部长胡耀邦，在京约请中共广东省委第一书记韦国清和中共广东省委书记吴南生谈话，宣布中央的决定，并对他们说：“中央决定让习仲勋到广东担任省委第二书记，这是叶帅提名，大家也都同意的。”由于韦国清要赶回广州主持召开中共广东省第四次代表大会，便把习仲勋赴广东的事情交给了吴南生办理。吴南生在全国总工会招待所找到习仲勋，商量确定了他赴粤的具体事宜。
习仲勋从河南回到北京后，因家中住房拥挤，暂时住在全国总工会招待所。昔日的同事和战友，听说习仲勋回到北京，都到这里来探望他。由于人很多，又南下在即，时间很紧，他便不得不把每天的接待时间延续到凌晨四五点钟。
四月五日，习仲勋从北京乘飞机抵达广州，一到住地就投入紧张的工作。
四月六日上午，习仲勋出席中共广东省第四次代表大会第三次全体会议。韦国清首先介绍习仲勋和代表见面，大家表示坚决拥护中共中央的决定，热烈欢迎习仲勋来广东工作。习仲勋发表了热情洋溢的讲话。他说：“这次党中央分配我到广东工作，感到担子很重。我决心和同志们一起，在省委的集体领导下，努力做好工作。”他强调做好广东工作的重大意义，指出当前为了实现新时期的总任务，必须努力学习，大力宣传党的十一大路线和五届全国人大会议精神；必须把揭批“四人帮”的斗争抓紧、抓好，把被“四人帮”败坏了的党的优良传统恢复和发扬起来；必须坚决落实党的干部政策、知识分子政策、统一战线政策、侨务政策、民族政策、对敌斗争政策，以及经济建设中的各项政策；必须赏罚严明，伸张正气，打击歪风，正确区分和处理两类不同性质的矛盾，调动一切积极因素，团结一切可以团结的力量，在广东全省真正掀起一个经济建设和文化建设的高潮。
习仲勋在讲话中感情真挚地说，北方水土养育了他大半辈子，现在到了广东，要靠南方水土养育下半辈子。他的讲话言语不多，但把广东作为第二故乡，要和广东人民共同奋斗的决心溢于言表，感人至深，给与会代表留下了深刻的印象。据时任中共惠阳地委副书记兼宝安县委书记的方苞回忆：“他不像很多人那样，讲话都用稿，他讲话没有稿子。再者他的话语很朴实。他在讲话中还讲到自己的不足，说自己刚到广东，对这里的具体情况还不熟，可能会犯一些错，希望大家指正，这让我们感觉到他和我们很交心。”
六日下午，在中共广东省委四届一次会议上，韦国清当选为省委第一书记，习仲勋当选为第二书记。与此同时，中共中央还任命习仲勋为广东省革命委员会副主任（同年十二月任主任）。会后不久韦国清返回北京，广东的工作由习仲勋主持。他把主要精力放在省委的工作上，省革委会的日常工作则放手由刘田夫负责。
这时，习仲勋身体虽然还好，但毕竟六十多岁了。广东省是“文化大革命”的重灾区，创伤累累，百废待兴，百乱待理，局面纷繁复杂，工作任务十分繁重。正像他所说：“我到广东前，已经十多年没有工作了，一下子到位置重要而情况又比较复杂的地方工作，在当时难度毕竟是比较大的。”面对这种情况，习仲勋义无反顾地“以一个老共产党员的革命胆略、远见卓识、大无畏气魄和高度的历史责任感，既沉着面对，又雷厉风行，团结省委一班人，稳住大局，励精图治”。
习仲勋上任不久，叶剑英就到广东视察工作和休息。叶剑英在听取了习仲勋关于广东工作初步设想的汇报后，以六句话相赠：“深入调查研究，稳妥制定计划；及时报告中央，按步执行实施；分清轻重缓急，注意保密安全。” 习仲勋在广东工作期间，一直把这六句话作为自己的座右铭。
一九八○年一月，习仲勋兼任广州军区第一政委。在革命战争年代，习仲勋长期从事军队政治工作，有丰富的经验，与军队中许多老帅、老将军有着密切的关系。善于协调军地双方的关系，是他的突出特点。他在广东工作期间，十分关心广州军区的部队建设和政治工作，把部队建设作为省委一项重要工作，注意动员地方各方面大力支持国防建设，有效地保障了部队在广东的生产生活和训练需要，使部队建设进一步发展。同时，习仲勋十分注意把部队建设与地方的改革开放和经济建设结合起来，发挥军队优势，使部队在保卫国防和抗灾抢险等重大任务中发挥了重要作用，受到了广东人民的拥戴。这一时期，广东军政之间、军民之间关系团结融洽，“双拥”工作走在全国前列。
