1936年，廖耀湘学成归国，任中央军校教导总队骑兵队第三连少校连长，军士营学兵连连长。1937年“七七卢沟桥事变”爆发后，廖耀湘先后担任教导总队军士营营长、第二旅中校参谋主任等职。12月，参加南京保卫战。1938年1月，廖耀湘根据南京保卫战之经验，向蒋介石上书《远征军今后建军应有之改进》的条陈，受到蒋介石器重，被提升为少将，并被任命为新成立的中国第一支机械化部队——陆军第200师参谋主任。1938年3月，廖耀湘被破格提拔为200师少将参谋长。当年9月，200师在湖南湘乡扩充为国民革命军新11军，旋改为第五军，廖耀湘任该军所辖新22师副师长兼军干训班主任。廖耀湘深得军长杜聿明的信任，主要负责整训部队的具体工作。无论大小演习，他都能精心指导，课堂讲授，边讲边写，边画战术作业图，语言生动，讲解精辟，深得广大官兵敬佩。操场训练，自团、营、连、排、班教练至单兵动作，均能详细讲解示范。有一次他下连队视察，在观看实弹射击时，发现有一个班成绩很差。他询问原因，得到的答复是武器太差，不好使，影响射击成绩。廖耀湘也不多言，当即接过枪亲自射击，结果三发三中，全场顿时肃然起敬，暗自称奇。该班全体士兵惭愧之下，只有苦练枪法。在广西界首的一个月演习中，他将自己编著的《浔江上游游击战术》、《小部队战术》等军事书，分发给广大官兵研读。他尤其重视对各级作战骨干的培训和部队的战斗精神教育、军容风纪的整饬。第五军经廖耀湘几个月的整训，面貌焕然一新，军事技术过硬，纪律作风严明，战斗力水平大幅度提高。1939年3月，经国民党军事委员会校阅评定:“第五军居西南各军第一”。1938年10月，第200师在湖南省湘潭县扩编成装甲军，1939年6月，杜聿明升任第五军军长后，调任第89师副师长戴安澜继任该师师长。第89师只是一个常规师，戴安澜也只是一个黄埔军校三期毕业，默默无闻的副师长，200师中人才济济，任职师长级都是海外名校留学的高材生，或是军长级的资深将军，名不见经传的戴安澜何以能进入王牌军任王牌师师长一职呢？不明就里的官兵们议论纷纷。戴安澜，安徽省无为县人，戴安澜族叔祖戴端甫和徐庭瑶同为保定军官学校第3期毕业生（同期同学张治中、白崇禧、蔡廷锴等），徐庭瑶毕业后在部队不得志，遂回乡做小学教员。1922年任粤军团长的戴端甫回乡，徐庭瑶写得一手好字，又颇有见解，戴端甫相信徐庭瑶将来必是一员虎将，遂并给了他一笔不少的钱，全力推荐徐庭瑶参加粤军。戴安澜黄埔军校毕业后，戴安澜进入徐廷瑶的第17军任职，徐庭瑶对戴安澜特别关照，戴安澜知书达理，治军严格，让徐庭瑶非常满意。在戴安澜担任副师长期间，有次在随从副官的陪同下，去大山深处的一座道观拜访一位道士，询问自己的前程，道士看过戴安澜的面相后，告诉他现在的官职不可再升，如果再有升迁的话就有血光之灾。戴安澜一笑置之，说大丈夫生有何欢，死有何惧？不久，徐庭瑶为杜聿明升任第五军军长出力不少，徐庭瑶立即安排自己最为信任的戴安澜升任200师师长。曾在该师任职的湘籍高级将官有：廖耀湘(湖南邵阳)：第五军第200师参谋长、副师长，黄埔军校第六期毕业。梁化中，（湖南涟源）：200师参谋长，黄埔军校第七期。彭壁生（湖南蓝山）：第五军第200师副师长（代替师长戴安澜指挥昆仑关战役），黄埔军校第七期毕业。熊笑三：湖南长沙人，第五军第200师第65团上校团长；国民革命军第200师副师长，黄埔军校第六期；团级指挥官：598团团长高吉人（陕西靖边）599团团长柳树人（贵州安顺）600团团长邵一之(湖南湘阴)补充团团长郭奇