武则天有一次见人领来一个小宦官，很喜欢这个孩子，便让他留在自己身边。这个小宦官就是后来的名宦高力士，是潘州（在今广东省茂名市北）人，本姓冯，自幼被阉割。圣历元年（公元698年）被岭南讨击使李千里送到皇宫。
但过不多久，他犯了个小错误，被打一顿板子，撵出皇宫。幸好一位老宦官高延福把他收为养子，从此他便姓了高。高延福原来在武三思家为奴，所以高力士也经常来往于武三思家。武三思是武则天的堂侄，是武则天的左膀右臂，正当得势之时。或许武三思起了作用，一年之后，高力士被重新召回宫中。
这时的高力士，已高六尺五寸（合195米）。他性格严谨仔细，办事干练，被授给一个称为宫闱丞的中官。
中宗李显景龙年间（公元707—710年），李隆基还只是个皇侄，封为楚王。高力士细心地侍奉他，楚王李隆基对高力士自然也很好。等到李隆基当上太子的时候，便把高力士调到太子东宫，每天侍候在他的身边。李隆基还给高力士要了个朝散大夫内给事的官。在李隆基夺取帝位的过程中，高力士又是有功之臣，被破格拜为银青光禄大夫。开元初年又被授为右监门卫将军知内侍省事。玄宗李隆基看重宦官，就授予三品将军。当时有一大批宦官因此而身居高位。他们如果当上将军，权力比节度使还大，得到的赏赐礼品动不动就以千万计；他们如果充任各种使节（如节度使、盐铁使等，不是指外交官），就可以任意任免郡县的官吏，也有大批厚礼相随。还要给他们修功德碑，购买珍奇的鸟兽。他们到一个地方，就要有上千万贯的收入。所以，当时，京城的高楼大厦等豪华的宅邸，郊外的肥沃土地、果园、池塘等，有一半是属于宦官的。
而这些宦官能不能得到这个位置，能不能到各地各军巡视，就在高力士的一句话。
后来，高力士的权力越来越大。各地送来的奏疏要先交给高力士，然后再由他转交给玄宗。有些小事，他自己就可以作出决定。玄宗说，高力士应该住在内宫，这样我就觉得放心。于是，高力士就住在内宫，几乎不到宫外去。高力士日益成为炙手可热的人物，攀附于他的人越来越多。这些人都表示愿为高力士竭忠尽力。像宇文融、李林甫、韦坚、王钅共、杨国忠、安禄山、高仙之等等这些人都是靠走高力士这条路逐渐成为显贵的。太子李亨称他为“二兄”，王公们称他为“阿翁”，驸马们则称为“爷”。高力士在皇宫的侧殿休息。这“侧殿”可是不大一般：它自己拥有一个小院，有拜佛诵经的地方，装修得极其华丽宏伟。
高力士，为人谨慎。就是他自己亲近的人，如果受到皇帝的斥责处分，他也从不相救。因此，在玄宗身边的位置很稳固。但他很会利用自己的权力和皇帝幸臣的地位。宇文融之辈弄权朝廷，互相利用互相排挤，和高力士有着密切的关系。
高力士的家人都沾了他的光。他的养父被授为岭南节度使。他的生母麦氏也找到了，被接到长安，派两个女人照顾他，给她准备各种精美的食品。她母亲死后，追赠他的亲父亲为广州大都督，母亲为越国夫人。他见一个姓吕的姑娘生得漂亮，便娶来作“妻”，并把岳父提升为少卿刺史，吕氏子弟也都当了官。
天宝初年，高力士被授为冠军大将军，还封为渤海郡公加骡骑大将军。他“资产殷厚，非王侯能拟”。他出钱造的宝寿佛寺和华封道士观一点儿也不比国家投资建造的寺观差。当宝寿寺的大钟落成的时候，凡是敲钟的人都给钱，每敲一下给钱100到1000文，很多人争着敲钟，少的敲十几下，多的敲二十几下。他还拦河筑坝，修建了五台水力推动的碾子，每天可磨三百斛麦子的面。
安史之乱发生后，玄宗逃到蜀郡，他的另一个贴身宦官投奔了安禄山，而高力士却一直陪着玄宗，并被改封为齐国公，加了开府仪同三司的官。因为李亨已经即位为帝，是为肃宗，玄宗当了太上皇，移居长庆楼。高力士也跟着过来了。但不久高力士受到肃宗宠信的宰相李辅国的迫害，被流放到黔中（在今湖南省沅水、澧水流域）。在那里，他看到在长安和洛阳被当作蔬菜卖的荠菜到处都是，就写了首诗：
两京作芹卖，五溪无人采。
夷夏虽不同，气味终不改。
诗中反映了他那种从受宠到无人理睬（“采”协“睬”音）的巨大变化，以及由此而来的无可奈何。但也表现了他对玄宗的忠诚并没有改变。当他听说玄宗死去的消息的时候，向北大哭，吐血而死。
（《旧唐书·高力士传》、《旧唐书·玄宗纪》等）
