乐蔼字蔚远，南陽氵育陽人。晋朝尚书令乐广的六世孙，世代居住在江陵。他的舅父雍州刺史宗悫，曾经陈列器物，在各个外甥侄子中作试验。乐蔼当时尚年幼，而所拿的只有书，宗悫由此而惊异。宗悫又取史传各一卷交给乐蔼等人，让他们读完谈所记得的。乐蔼粗略读完，一一列举，宗悫更加赞许他。
宋朝建平王景素任荆州刺史时，征召乐蔼为主簿。景素任南徐州刺史时，又征召乐蔼为征北刑狱参军，升迁龙陽相。因为父亲去世而离职，官吏百姓都到州里去请他，葬礼完毕便起身。当时齐朝豫章王嶷任武陵太守，平素赞扬乐蔼的治理，等到嶷任荆州刺史时，委任乐蔼为骠骑行参军，兼任州主簿，参加主持一州事务。嶷曾经向乐蔼问及风土习俗、城壕、城墙、山脉河流险易之地，乐蔼随问随答，就像按照图册上来讲的，嶷更加器重他。州人嫉妒乐蔼，有人进谗言说乐蔼官署门庭若市，嶷派人窥视，只见乐蔼闭门读书。嶷回到京都，封乐蔼为太尉刑狱参军，主管书记，后升迁枝江县令。后又内调大司马中兵参军，转署记室。
齐永明八年(490)，荆州刺史、巴东王子响举兵谋反，不久被打败，焚烧房屋，官署文书，一时间荡然无存。武帝引见乐蔼，向他问及西部之事，乐蔼答对完备迅速，武帝非常高兴。任用乐蔼为荆州治中，下令托付他整治恢复府州事务。乐蔼回到荆州，整治修理数百个地方的官署，不久全部修好，而不用百姓服劳役。荆州人认为从晋朝王忱迁镇荆州以来，从不曾有过这样的事。
永明九年(491)，豫章王嶷去世，乐蔼解去官职奔丧，领着荆、湘二州的一帮旧臣，在嶷的墓前建碑立传。乐蔼多次迁任车骑平西录事参军、步兵校尉，要求帮助戍守西边而回到荆州。
南康王任西中郎时，任用乐蔼为咨议参军。义师举事，萧颖胄召来乐蔼及宗..、刘坦，让他们帮助策划。梁朝建立，迁任镇军司马、中书侍郎、尚书左丞。当时营造兵器盔甲、船舰军粮，到制定朝廷法令、法度，都凭借乐蔼。不久迁任给事黄门侍郎，左丞如同从前。和帝东下，跟随和帝一道兼任卫尉卿。
天监初(502)，升迁骁骑将军，兼任少府卿；不久迁任御史中丞，兼任本州大中正。起初，乐蔼从江陵出发，无故在船上得到八根车辐条，就像御史中丞前行时为他避开道边行人的人，到现在果然升迁。乐蔼性格公正好强，任御史中丞很称职。当时长沙宣武王将要安葬，而车府忽然在库失去油络，准备推出主事的人。乐蔼说：“从前晋朝武府失火，张华认为是积油万石的结果。现车府如果有灰尘的话，便不是官吏的过失。”马上去察看，果然有积灰，当时人称乐蔼心胸广博、十分宽宥。
天监二年(503)，出任持节称号，督广、交、越三州诸军，冠军将军、平越中郎将、广州刺史。前刺史徐元瑜卸任返回时，路上遭遇始兴人士谋反，驱逐始兴内史崔睦舒，乘机掠夺了徐元瑜的财产。徐元瑜逃回广州，向乐蔼借兵，假托想讨伐贼匪，而实际上是谋划袭击乐蔼。乐蔼发觉了徐元瑜的计谋，杀掉了徐元瑜。不久进号征虏将军，在这个官位上直到死去。