当年崔郾答应了吴武陵，将杜牧定为进士第五名。但是吴武陵走了之后就有人提出异议：“据说杜牧行为有些不检点，录为进士恐怕不大好？”崔郾有些后悔，只好说：“我已经答应吴大人了，即使杜牧是个屠狗的我也只好录取他。”看来，杜牧的不拘细行在当时就为人所知了。
杜牧进士及第，又举贤良方正科，被授予弘文馆校书郎官职，试左武卫兵曹参军。当年冬季，他就入江西观察使沈传师幕府做幕僚。大和七年（833年），淮南节度使牛僧孺辟杜牧为推官，不久让杜牧担任他的掌书记。牛僧孺治所在扬州。唐代的扬州，已是海内闻名的繁华都会。物阜民丰，人杰地灵。杜牧有一首著名的《江南春绝句》即是赞赏扬州的美丽景色：
千里莺啼绿映红，
水村山郭酒旗风。
南朝四百八十寺，
多少楼台烟雨中。
不过，杜牧最喜欢的，显然不是到古寺去与高僧谈佛论禅，也不是流连山水，醉吟江山，他之所好，似乎正在这蒙蒙“烟雨”中。
自古江南多美女，据说杜牧在扬州的时候，最爱流连青楼妓馆，“好歌舞，风情颇张，不能自遏”。（《唐才子传》）上司牛僧孺知道杜牧的这个爱好，却不点破。由于担心杜牧经常出入这些是非之地引起麻烦，他甚至暗中派数十人穿便服尾随杜牧，负责其安全。
大和九年（835年），杜牧任职期满，将调到京城任监察御史。在饯别宴会上，牛僧孺说：“老弟才华盖世，日后定有更大作为，只是要注意行为检点。”杜牧不知上司何意，装作一脸无辜地说：“我一直比较注意自己的品行。”牛僧孺微微一笑，叫下人拿来一个盒子，打开一看，里面全是牛僧孺派去保护杜牧的手下写的报告：“某日晚，杜书记宿某娼家，无事。”杜牧看了之后，满脸羞愧，连忙拜谢。
据说杜牧相貌英俊，再加上才华盖世，因此在当时声名极大，以至于家里有美女的都害怕杜牧到自己家里来。当时李司徒闲居在家，一日大宴宾客。由于李司徒家有一名歌伎冠绝当世，于是借口杜牧掌管官员监察，不好请他来，其实他根本就不敢邀请杜牧前来，免生是非。杜牧知道之后很不高兴，叫人暗示李司徒请自己。无奈之下，李司徒只好发出邀请，引狼入室。杜牧到了之后，终于见到了这位绝色女子，还大大咧咧起来赋诗一首：
华堂今日绮宴开，
谁唤分司御史来。
忽发狂言惊四座，
两行红粉一时回。
意气闲逸，旁若无人，满座皆惊。
杜牧对美丽女子的追求甚至到了“购买期货”的境界。据说他在湖州时，一次看到一个年方十岁的女子，十分满意。于是与其家人约好，十年之后来迎娶，还预付了聘礼。说十年之后如果不来，女子可自嫁人。谁知道离开湖州之后仕途不顺，直到十四年后才做湖州刺史。打听那位女子时，才知道她已经嫁人，都生了两个孩子了。杜牧无限惆怅：
怅 诗
自恨寻访去较迟，
不须惆怅怨芳时。
如今风摆花狼藉，
绿叶成阴子满枝。
这个故事是否属实已经无从查考，但是杜牧才子风流放浪形骸倒是有据可查的。当他要离开扬州的时候，想必心里是充满了依依不舍之情的。
赠别 其二
多情却似总无情，
唯觉尊前笑不成。
蜡烛有心还惜别，
替人垂泪到天明。
离开扬州很久以后，杜牧写诗给还在扬州的判官韩绰：“二十四桥明月夜，玉人何处教吹箫？”扬州已经成为诗人生命中永恒的记忆，再也无法抹去了吧？多年以后，杜牧写了一首《遣怀》，也算是对他扬州十年的一个总结：
落魄江湖载酒行，
楚腰纤细掌中轻。
十年一觉扬州梦，
赢得青楼薄幸名。