权德舆，字载之。父名皋。德舆七岁时父亲去世，他哀哭跪拜一如成人。
不到二十岁，他的文章就受到读书人的称赞了。韩泗任河南黜陟使，召权德舆为自己幕府。后又跟随江西观察使李兼，在他府中任判官。杜佑、裴胄交相推荐他。德宗听说他的才能，召他任太常博士，改为左补阙。
贞元八年(792)，关东、淮南、浙西州县发大水，冲坏了房屋，淹死了好些人。
权德舆向皇帝建议“：江、淮一带的田地，若有一次好收成就能够支援好几道的食用，所以天下大计，一向仰仗东南。现在两个季度淫雨不止，农田无法耕种，离乡求生的日渐增多。最好能在群臣中挑选能明察全局且有胆识权宜处理的人，去持节抚慰，深入了解百姓的疾苦，免其租赋，与当地连帅守长研究赈济办法。赋税从百姓中征来，现时不如藏在百姓手中更为有利。”皇帝于是派奚陟等四人巡察慰抚。裴延龄因善于奉迎而进官，管理财政。德舆上疏斥责说“：裴延龄将常赋中计划支出未用尽的作为羡利进奉，以夸耀自己的功劳；用官钱收购一般杂物，又卖出取利，称之为‘别贮羡钱’，以此欺骗皇上；边军粮饷匮乏，他不运粮过去，以致招来边祸，此非小事。陛下怀疑以上均为流言，可就新利为由召延龄来，查核其收支明细；另选朝臣去查核边域费用开支情况。如果传言的事确实，则邦国的要务，不可交给不正派的人。”奏疏送上去，没有下文。
权德舆升任起居舍人。兼掌制诰之事，升为中书舍人。当时，皇帝亲理政务，十分重视除拜官职，凡有任命，必定亲自批示下发。起初，权德舆掌管制诰事，徐岱为给事中，高郢为舍人。几年后，徐岱死，高郢调任礼部，权德舆一人担负了中书、门下两省之事，忙得几十天才能回一次家。于是上书皇帝：“中书、门下左右两省，承旨拟制天子诰命，奉行详覆，各有所司。旧制，分部治事共有十人，以备相互监督检查。一般来说，若事有所壅闭，官吏有了干违法之事的机会，四方之士如得知这种情况，会认为朝中缺乏任事之人。政要部门不宜长期空缺。”皇帝说：“我不是不知道你的辛苦，但想觅一个像你一样的人，还没找到啊。”很久以后，权德舆主管礼部贡举、实授侍郎。三年来，甄选评量极为仔细，他所选拔的人相继都任公卿、宰相。取明经不限名额由此始。
贞元十九年(803)，天大旱，权德舆即此上书陈政事：“陛下净心精简膳食，同情怜悯百姓，到宗庙向祖先报告求助，再向天地祝祷，请求赐福。凡有可祈求之物，定致敬礼；一个士人有所请，定要详听其言，这样，关心他人之心可称完善。臣听说，消化天灾的，定要修善其政；感召人心的，定要广施惠泽。祥和之气洽比，自然会有祥瑞的应和。王城内外，大部分都成了荒地，转徙逃荒的人，不少都死于道路。担心到种麦时，无种可下。最好诏令各地根据情况留下所需之种子，到时贷给百姓。今年的租赋以及过去的欠债，一律均免除。即使不免，也没理由收取。不如先做出决定，百姓就会感恩皇上。以前十四年(798)夏天的旱灾，官吏催促常年的租赋，以致发生县令被百姓殴打侮辱的事，不可不引以为戒。”权德舆又说“：漕运本是为关中需要而设。假如改将东都以西诸道的仓储都运入京师，再督促江、淮所缴纳的备足常数，然后估量太仓留一年的食用，多出来的全都卖给百姓，那时价不会涨得太高而储蓄的人愿意卖出来了。”又说“：大历年间，一个缣值钱四千，如今只八百钱。税收仍与过去一样，百姓实际缴纳的则是以前的五倍。四方之官热中于上献，结果是为国家聚怨。又广求军车器械等物，而兵籍中不少虚额，多方剥取。
虽有心计巧法，能贾功利，但其做法有如割股肉塞口福，使大家都陷入困顿。”又说“：近年来遭绌官外放的，自以为不可能再磨灭以前的过错，以致自暴自弃；冬荐官过了三年都未授具体官职，以致衣食皆尽，溘然而逝，这也是使人穷困的一个方面。近来陛下为被绌放的洗宽恕罪，有的起用为二千石。其他与之相类的人则相互勉励，知道复官有望。就此推而广之，可使人人自我约束。”他的这些建议，皇帝很多都采用了。
宪宗元和初年，曾任兵部侍郎，因牵连获罪，降为太子宾客，不久又回任前官。那时，泽潞的卢从史虚诈而又傲岸，渐渐不受制约，他的父亲卢虔死于京师。
成德的王承宗父亲死了，上书请求承袭父职。权德舆入谏，他认为：“如想改变山东形势，先要选好昭义的将帅。卢从史从军校选拔上来，傲慢不遵法令。现在可以就其父丧期，另选守臣把他替下来。成德父死子袭已成习俗，该慢慢地制约他们。可以同意成德的要求，而昭义的要求则不可应允。”皇帝不听。及至王承宗叛变，卢从史设诡计阻挠王师，费时而无功。权德舆再次请求赦免王承宗，贬徙卢从史。后来的事都如他所预料。
其时宰相裴耹有病，权德舆从太常卿委任为礼部尚书、同中书门下平章事。
王锷由河中入朝，求兼任宰相，李藩认为不可以，权德舆也奏言：“平章事一职不是逐步升迁可得。方镇而兼任宰相者，定要大忠有大功者，此外强悍不听制约的，不得已而给予以羁勒。现在王锷无功，又不是姑息之时。若一开此例，以后就无以禁止了。”皇帝乃作罢。
董溪、于皋..以运粮使之便盗取军需，判流放岭南，皇帝后悔判得太轻，诏令中使在半路上杀了他们。权德舆劝止说“：董溪等人趁山东用兵之时，吞没军库财物，虽死也不足偿责。陛下若认为流放太轻，应该责备臣等的错误，审定明确其罪责，公开颁发诏书，与公众共同鄙弃他们。这样就能使人人警惕。臣知道已然之事不再诤谏，不过将来也许会有类似之事，因此须有司再予评论报请，使能罚一儆百，人人甘心。”皇帝十分同意。
皇帝曾向权德舆询问为政宽严哪一种该先行。权德舆回答：“唐家继隋而兴，隋时苛虐，就该以仁厚为主。太宗皇帝曾见到《明堂针灸图》，得知人五脏皆近背，若针灸有误，会致人死命，因而禁止鞭背之刑。列圣所遵行的，都是崇尚德教。
所以天宝年大盗虽曾横行一时，但都不久即遭夷灭。都是因为本朝的教化，感人至深的缘故。”皇帝说“：的确如你所说的一样。”
权德舆善于论辩，常能将古今之事详加剖析，陈述本末利害，用来启发或警惕皇帝。他身为辅政的宰相，为人宽和不追求自己的名声。李吉甫再次执政，皇帝又自己决定用李绛参与研究大政方针。这时，皇帝求治心切，不论大小事都交与宰相。李吉甫、李绛容不得不同意见，常在皇帝面前说三道四。权德舆乃极谨慎不敢有所轻重。皇帝又因他缄默不言，有亏相职而罢相，以检校吏部尚书之职留守东都，晋爵扶风郡公。那时，于由页因儿子杀了人，自己把自己囚禁起来，他的亲戚没一个再敢上他的门，朝廷中也没人为他说情的。权德舆在离京前对皇帝说“：于由页的罪既然蒙恩宽恕不再追究，应该写一宽恕诏赐他。”皇帝说：“不错，你提醒了我的疏忽。”又任权德舆为太常卿，调任刑部尚书。
起先，皇帝曾诏令许孟容、蒋耣汇集刊印格敕，书辑成后，进送皇帝审阅，后来留在禁中不下发。权德舆请求将书稿发出来，他与侍郎刘伯刍复核研究。最后选定三十篇奏上。后来，权德舆又被委任检校吏部尚书，出京任山南西道节度使。两年后，因病请求还乡，死在返乡路上，年六十岁。追赠尚书左仆射，赐谥为“文”。
权德舆三岁时就懂得四声之变，四岁就能赋诗。他潜心研究经术，无不融汇贯通。从他开始学习，一直到老，没有一天不读书。他曾写文章论述汉亡的原因，西汉因张禹、东汉因胡广，大旨对世有补。德舆的文章达练精密。当时公卿侯王中功德卓越的人，都有所铭记，大约有十之七八。他居家或处世，从不矫饰，但自有一种蕴藉风流，令人仰慕。贞元、元和年间，成为缙绅士子的表率。