杨恽是当时著名的士大夫，他轻财好义，把上千万财物分给别人。从小在朝中就有很大的名气。为官之时也能大公无私，奉公守法，不徇私情。据《汉书·杨恽传》载，杨恽母亲去世后，其父杨敞为之娶一后母，后母无子，杨恽侍之如亲娘，孝敬有加。其后，后母去世，留下财产数百万，临终前，他的后母叮嘱由杨恽继承，但是后母去世后，杨恽没有将这笔财产据为己有，而是将后母留下的大笔财产分给她的几位亲戚。父亲杨敞去世后，杨恽还从父亲那里继承500万的财物，为官清廉，经济状况并不很好的杨恽却将其全部用来救济那些宗亲。

步入仕途的杨恽，目睹朝廷之中贪赃枉法成风。对此朝中大大小小的官吏视而不见，独有杨恽同他外祖父一样，出污泥而不染，铁骨铮铮，一身正气，敢于冒死在皇帝面前直谏，大胆进行揭发。他还告发与父亲杨敞有深交的朝廷元老重臣霍光的儿子谋反之事。因此，杨恽和另外几个与他一同告发此事的人都获取了封侯的赏赐，还加官进爵。封平通侯。他出身名门，全家担任公卿、两千石以上的十人（乘朱轮）。任职时候廉洁、公正，整顿吏治，杜绝行贿。

因与太仆“戴长乐”失和，被戴长乐检举：“以主上为戏（拿皇帝开玩笑），语近悖逆”，汉宣帝就把杨恽下狱，后予释放，免为庶人。

其后，杨恽家居治产，以财自慰。安定太守孙会宗，是杨恽的老朋友，写信给杨恽，劝他应当闭门思过，不应宾客满堂，饮酒作乐，杨恽给孙会宗写了回信，这就是《报孙会宗书》。此信中，有对皇帝的怨恨，有对孙会宗的挖苦，为自己狂放不羁的行为辩解。整封信写得锋芒毕露，与其外祖司马迁《报任安书》桀骜不驯的风格如出一辙。后逢日食，有人上书归咎于杨恽骄奢不悔过所致。他再次被捕入狱。廷尉按验时，在他家中搜出《报孙会宗书》，汉宣帝看后大怒，判以大逆不道罪，就把杨恽腰斩。孙会宗也因此被罢官。