张耀曾决心退出政坛，一九二九年一月六日在何海秋的经济帮助下，他决定在上海执律师业。一月十九日的日记自述，做律师，“入民间服务，此为起点”。一月二十六日他自剖心迹，之所以作出这一决定，“则以收入可望增加，政治可望参与，皆名利之动机也。”二月四日，上海律师公会开会通知他入会一事。他的律师生活，自此实现。三月十二日，张元济得知这一消息，来信祝贺，“世风日下，得有端人君子砥柱其间，适为社会之幸。”十二月三十一日，他在日记中说：“从前以政治为生，今则以律师职业为生；从前与一般社会相远，今则置身一般社会中。”他生命的最后八年，以律师身份服务社会，为贫弱者仗义执言，不计报酬，不畏强横，负责的精神，浩然的正气，专业的水准，都令人动容。他同时在上海几家大学的法学院兼课，他与胡适多有交往。一九二九年，胡适任校长的中国公学力邀他出任法学院长，他坚决推辞。
张耀曾初任律师，第一次出庭即打赢官司。一九三〇年二月十七日的日记说：“余昨夜睡眠尚佳，故是日辩论从容，声音清晰，颇能动听，结果法院大体采用余说，判决被告无罪，可谓余第一案胜利也。”五月二十一日，“继思为穷人作义务辩护，实律师本分，不可不一为提倡。”当时有一个使用伪币案，嫌疑人是一个十九岁的广东少年胡树蓉，他义务出庭，力为辩护，结果判决无罪。最为有名的是一九三〇年的日商三井起诉中国商家案，他以原告三井洋行未在中国注册，没有法人资格，以有限公司名义起诉，不合法，请求法庭驳回。法庭裁判令其补正。六月十八日再次开庭，原告律师提出抗辩，“余一一反驳，立谈约一小时，词旨明快，字句清晰，尚不失廿年前风度，差自慰也。”
同年七月，他受托为一受凶暴摧残的弱女子义务打官司，不收分文报酬。七月二十日，有人告诉他对方很凶悍，扬言“对于本案倡言非流血不可”，劝说以和解为宜，另外两律师听得对方如此凶恶，都说：“则吾辈做律师者，岂不危险？”他的回答是：“危险与否，虽不可知，但律师有拥护人权之责，岂能畏彼强御？袁世凯尚有倒亡之日，况董俞为恶，能有几何？”依然决定照原计划进行诉讼。七月二十一日日记说：“诚以律师有拥护人权之责，今有弱女子受凶暴摧残，乃至无人敢为在法律上说话，岂非律师之耻？余所以毅然为此，不过欲矫正风气，扶植道义耳。”当天他在法庭上辩论半小时，“声音清晰，理路不紊，自问尚属不恶。”
一九三二年九月，他介入黄金荣、聂荣卿等敲取良民财产案，为被告弱者叶荫三一家仗义辩护，不怕得罪黄金荣等大流氓。二十一日，他在日记中说到此案，“可察知法律与恶势力之消长与社会黑暗之实状”，“虽知与此种恶势力抗，殊多危险，然职责所在，亦不敢辞。”二十二日，他与律师沈钧儒一起分析案情，沈钧儒说：“吾辈正直，彼等似颇畏惮，然言语亦特须谨慎，不能不防其陷害也。同为一叹。”
他为被诬“杀人、放火、侵占、抢劫”的新疆主席金树仁辩护，历时三年，遍查中、日法书，答辩书“字字皆核实，句句欲锤炼”。一九三五年三月三十日开庭，“虽声音不如往日之清亮，但精神贯注，顿挫合节，一气呵成，似颇能吸收听者精神，使其感动。”旁听者的二百人无不屏息，其中有低声叫好者，闭庭后才知叫好者本是站在反对金树仁立场的回民。记者纷纷上前表示赞叹，愿为宣传。“晚上本日演说，时间太长，声音不免干哑。又因事实太多，不能尽记，须时时朗读原文。较之‘昂然四顾、口若悬河、风动涛惊、横卷四座’之往时做法，尚不逮甚远。”
一九三六年的“七君子”案，他虽不赞同救国会关于组织“人民阵线”，与共产党合作等主张，但还是出面为沈钧儒等辩护，为他们的出狱而奔走。案发之前，六月十日，沈钧儒将去南京，他恳切力劝老友：“言动勿过偏激，尤须通观事实，自有主张，勿为他人利用而不自知。”
一九三七年五月五日，他从黄炎培那里得知，沈钧儒等七人仍须判罪后，送反省院保释。他认为判罪与否本是法官的权限，而国民党当局老是说判罪后如何，好像判罪完全由当局决定的，为中国司法的不独立而感叹。这一切他都详细记在日记里。直到七七事变后“七君子”获释，他才松了一口气。
