鉴于胡人造成的伤害过于惨痛，桓温决定推行汉代执行的都护府制，分别设置了四个都护府用于镇守四方的胡人部落。
其中在乐浪郡以东二百里的汉江流域新筑平壤城，以熊本城为基本设置安乐都护府，除了管理辽东、高句丽以及朝廷半岛上的三韩部落等地外，也管理东北地区的渤海、契丹、库莫奚、靺鞨、室韦等其他少数民族，首任都护为北府名将刘牢之，率军两万余人镇守安东都护府。
以朔方郡为基础设置安北都护府，用于管理鲜卑拓跋部、鲜卑秃发部、鲜卑越质部、匈奴铁弗部、匈奴贺兰部、匈奴孤独部、高车族、柔然等少数民族，首任都护为北府名将刘轨，率军三万余人镇守安北都护府。
在西域桓温则以前秦时期在西域设立的西域长史府为基础，成立新的安西都护府，安西都护府以鄯善城为治所，设立西域都护、戊已校尉、伊吾都尉、玉门大护军等职位，同时在高昌设郡的基础上，又设立了敦煌郡、晋昌郡、鄯善郡等治所，进一步完善了行政管理，安西都护府不但负责治理西域诸国，也负责管理中亚地区的康居、大月氏等其他部落，首任都护为桓冲手下大将田洛，率军两万镇守安西都护府。
在交州地区，桓温决定重建日南郡，并在日南郡境内的宋平城设立安南都护府，以自己的心腹旧将、原宁州刺史孙恩的儿子孙绰为首任都护，率军两万镇守安南都护府。
桓温之所以大费周章的跑到大南边设立安南都护府，主要是因为那里有一个叛乱的国家－林邑国。
在桓温发动统一全国的战争时期，林邑国趁机发动叛乱，屡屡侵扰交州，掠夺交州的人口和财产，因此当时桓温正在全力征伐北方诸割据势力，无暇顾及极南之地，所以只得以安抚为主，并没有大动干戈。
但是没想到林邑国见东晋王朝无暇顾及自己，反而变本加厉，最终将整个日南郡全部吞并，虽然桓温有意想要讨伐林邑，但终因路途太过遥远而作罢。
但这一直是桓温心里的一道坎，因为后世的越南之所以在南海问题上为非作歹，处处与中国为敌，就是因为当时的统治者放弃了此地的原因。
因此本着不为后世子孙留麻烦的想法，桓温才决意在日南郡设立安南都护府，用于巩固在当地的统治。
林邑国是从日南郡象林县分离出来的，而日南郡又是着名的交趾三郡之一，交趾三郡为交趾郡、九章郡、日南郡，这其中日南郡在最南部，由于全境地处热带，一年有2个月时间太阳是从北面照射的，日影在南部，这是当时全国唯一一例，故曰“日南郡”。
日南郡相对于其它两郡，有其更特殊的地方：它位置当时中国疆域的最南边，所以当年汉朝征服这里的时候，因此实在太过偏远，所以开发程度和控制程度都是最低的。
汉朝虽然大力开发日南郡，鼓励内地移民过去拓殖，但日南郡的人口因为实在太过于偏远而始终维持在很低的一个水平，和交趾其他两郡根本无法相比，在汉朝的一次人口统计中，仅有6.9万，还不如现在的一个镇的人口规模。
而且，日南郡的民族成分也相当复杂，这里的主体民族既不是汉人，也不像其它岭南州郡一样是越人土着或汉越混杂，这里主要居民是：占人！
占人是中南半岛很古老的一个民族，该族群跟交趾、九真两郡的越人土着有很大不同，他们不受汉人文化的影响，而是深受印度文化影响，这也就造成了他们与其他两郡的很大不同。
对于汉人统治者来说，此处人文风貌实在是太过于迥异，移民到这里的汉人根本就不可能接受他们的风俗，但是如此偏远的地方又恰好是犯人流放的好地方，
因此在两汉时代，日南郡是犯人流放的集中地，有记载的有就有汉和帝时阴皇后的二弟、汉安帝乳母与女婿樊严、侍中周广、虎贲中郎将谢恽等都曾流放至此。
但即便如此难以统治，对于汉王朝来说，这里也不能放弃，因此它是直属郡县，因此为开发此处汉朝尽了最大努力：设置政府、征收赋税、移民实边。
但日南郡实在是偏远，汉人数量实在太少，土着势力又过于强大，所以自汉人统治这里开始，冲突就没有停过，最终在汉光武帝的时候，交趾地方爆发了一场规模十分庞大的起义，也就是 “二征起义”，交趾三郡全部卷入其中。
东汉政府派出了着名的伏波将军马援前去平叛，并在平定叛乱之后，伏波将军马援在当地立了两根铜柱，并以此为汉帝国最南端的边境，这就是着名历史典故“马援铜柱”，并向当地发出了振聋发聩的誓言：铜柱折，交趾灭。
而这次叛乱的林邑国，则在铜柱之前，实际是就是原来的日南郡象林县，象林县又在日南郡的最南端，对于当时的中原王朝来说，可以说是极南中的极南了。
交趾和九真两郡因为汉朝移民多的原因，经济文化得到很大发展，然而日南郡则不然，这里气候酷热，且多瘴气，自然环境相当恶劣，所以汉地统治薄弱。
所以，日南郡仍然频繁发生土着闹事的现象，并最终发展到了政府镇压都镇不住的地步，东汉顺帝时，日南郡南部的象林县就曾发生过叛乱，占族土着首领区连率领数千人叛乱， “烧城寺，杀长吏”，当时交趾刺史官兵去镇压，结果士兵竟然嫌弃路远而不愿前往并发生兵变。
没有办法，随后日南郡便渐渐糜烂，东汉的中央政府在得知此事后，本想从本土派重兵前去平叛，但被大臣李固劝止，理由是此处实在是地处偏远，远征劳民伤财，且胜算不大。
于是乎，此处就脱离汉朝自立了，建立了占人的第一个国家政权——林邑，中国的南疆由北纬13度缩至北纬16度一线（即今越南顺化一带）。但是，日南郡的建制还在，不过是萎缩了而，日南郡仍然是南部重要州郡，是海上丝绸之路的交通要冲。
东汉桓帝时，西方大国罗马帝国曾派遣使者访华，船只便是在日南郡登陆，这是有史以来中欧最早的官方接触之一。
林邑国建立后，不断往北蚕食，他们经常骚扰日南郡，杀人抢劫，在东晋穆帝的时候，占人甚至杀了日南郡太守夏侯览，并屠杀了五六千名百姓，后来遭到了东晋宁州刺史孙恩的血腥报复，林邑全境被破坏屠杀。
不过，中原王朝虽然能打击林邑，但却无法控制日南郡，终于在晋废帝司马奕在位时期，日南郡彻底为林邑吞并，日南郡被废除。
因此，在正式设立安南都护府后，桓温给安南都护孙绰的第一个任务就是灭掉林邑国，孙绰从小在宁州长大，宁州离交州不远，熟悉那里的地形和人文，之前桓温调孙绰为交州刺史，其实就是为了为灭掉林邑国作准备。
而孙绰也没有辜负桓温的期望，在调任交州刺史兼安南都护之后，便开始积极的为攻伐林邑国作准备，率领万人深入林邑国境内，歼灭了林邑的大半士兵，夺回先前被林邑国掠走的人口和财产，此战痛击林邑，林邑请降，并向朝廷致送大象、金银、古贝等礼物 。
林邑请降之后，桓温为了进一步控制南海地区，在林邑国境内又设立了比景郡、海阴郡、林邑郡3郡。
孙绰这次军事征服范围极广，一直打到了林邑国最南端，也就是现如今湄公河的入河口位，并在入河口处设置海阴郡直接统治，比旧日南郡南境还要靠南，这也是中华五千年以来南境最远之处。