杨志乃三代将门之后，五侯杨令公之孙，后家境衰落，流落在关西，幼时曾应过武举，武艺精绝，因其脸颊有一块青斑，江湖上人皆呼之为“青面兽”。
话说青面兽杨志虽然武功高强，身上却没有一丝豪侠气概，是个地地道道的“官迷”，一心想着当大官，能够光宗耀祖，封妻荫子。凭着一身的本事，杨志逐渐出人头地，做到了殿司制使官。
这年，大宋皇帝要办一个盛大的寿筵。为给皇帝祝寿，要盖一座万岁山，差杨志一般十个制使去太湖边搬运花石纲，从水路运送至东京汴梁。杨志以为立功的机会又到了，立即赶赴太湖，很快备齐了花石纲，只要提前回京交差，就有可能升官。也是杨志命运不济，乘船押运花石纲来到黄河里，不想风高浪急，竟将船打翻，失陷了花石纲，杨志知道罪过不小，不敢回京交差，径自逃到亲戚家去避难。
过了半年，皇后为皇帝生了一个儿子，皇帝喜不自禁，大赦天下，杨志又动了当官的念头，凑了一担金珠细软，雇了个村夫挑着，回东京到枢密院打点，意在官复原职。途中路过水泊梁山，正撞上被逼上梁山的豹子头林冲，林冲因到梁山入伙，白衣秀士王伦定要林冲交纳投名状，林冲要夺那担财宝交纳投名状，二人你来我往，打斗了几十个回合也不见高下。王伦看杨志英勇，便想把杨志也招上梁山，以钳制林冲。
王伦把杨志请到山寨，说：“眼下是高俅那厮执掌军权，制使是有罪之人，他如何肯容你？不如只就小寨歇马，大秤分金银，大碗吃酒肉，同做江湖好汉。”杨志怎肯落草？道：“洒家只为清白，不愿将父母遗体来玷污了，指望把一身本事，边庭上一枪一刀，博个高官厚禄，也为祖宗争口气。”执意要下山赴东京谋取官职。王伦看苦留不住，只好放杨志去了。
杨志到了东京，央人到枢密院打点，买上告下，把那担金银财物使得殆尽，方才得以进见太尉高俅。高俅见杨志脸颊上好大一块青斑，相貌丑陋，先自不喜，又见杨志没有高官推荐，而且身上也没有多少可上贡的金银，竟让人乱棒将杨志赶了出来。
杨志十分郁闷，身上的银子都使尽了，不想官没当上，还吃高俅那厮羞辱。如此烦恼了一回，在客店又住了几日，分文皆无，店家天天来要房租，看杨志没钱，整日价冷嘲热讽，要杨志卷铺盖走人。无奈之下，杨志只好将随身携带的祖上留下的一口宝刀插上草标去街市上卖，换取盘缠投他处安身。
在街市上等了许久，却不见一人问津，忽然间路边的人到处乱窜，纷纷躲避，杨志定眼看时，却见黑凛凛一条大汉，吃得半醉，一步三晃撞将过来，原来是京师有名的破落户泼皮，唤做没毛大虫牛二，专在街上寻衅撒泼、行凶闹事。
那牛二抢到杨志面前，掣出那口宝刀，嚷道：“汉子，你这刀要卖几个钱？”杨志说是祖传宝刀，要卖三千贯。牛二喝道：“什么鸟破刀，却要卖许多钱！不过切得肉，切得豆腐罢了。”杨志说：“俺这宝刀端的不比寻常，有三件好处，第一件是砍铜剁铁，刀口不卷；第二件是吹毛得过；第三件是杀人刀上没血。”
牛二不信，先拿二十文铜钱摞在一起让杨志剁了，果然刀口不卷。又从旁边一卖炊饼老者头上揪下一缕头发，杨志接过放在刀口上，用力一吹，那缕头发齐齐断做两段。牛二定要寻衅，要杨志杀一个人验证刀上有没有血，杨志说你若不信，可取一条狗来杀与你看。牛二揪住杨志说：“你只说杀人，不曾说杀狗！若不敢杀人，便要你将这口刀送与我。”杨志大怒，反手推了牛二一跤，牛二爬将起来，挥拳就打杨志，硬抢那口宝刀。杨志正没好气，被撩拨得一时性起，一刀将泼皮牛二剁翻在地。
杨志杀死牛二，径来开封府自首，开封府上下官员听说杀了牛二，都敬重杨志，并不为难他，从轻判做斗殴误伤人命，刺配充军北京大名府留守司，宝刀没官入库。百姓们看杨志为他们除了一害，街坊们凑了些银两送与杨志做盘缠。
北京大名府留守司最有权势，上马管军，下马管民，那留守中书唤做梁世杰，乃是东京当朝太师蔡京的女婿。梁中书原在东京时，曾认得杨志，知他武艺出众，正要笼络人才，就留杨志在府中听用。杨志在梁府早晚殷勤听候使唤，梁中书看他勤谨，有心要抬举他，欲提拔杨志做个副牌军，又怕众人不服，便传令军政司通知大小诸将到校场演武。梁中书看诸将先自演练了一番，却让杨志与副牌军周谨比试武艺，说：“眼下盗贼猖狂，国家用人之际，我知你原是东京殿司制使官，犯罪流配来此。你若赢了周谨，就接替他的职位。”
杨志和周谨都披挂了全副铠甲，言定先比枪，因怕有损伤，把枪都去了枪头，用毡片包了，蘸了石灰，在马上打斗起来，那周谨哪里是杨志的对手？斗了四五十个回合，周谨浑身白点约有三五十处。后再比箭，杨志已知周谨武艺平常，便先让周谨三箭，杨志要显本领，第一枝箭蹬里藏身躲过，第二枝箭用弓拨过，第三枝箭却绰在手里。杨志却怕伤了周谨性命，一箭射中周谨左肩，周谨翻身落马。梁中书大喜，即让杨志充当副牌军。诸将看杨志只不过是个刚来的因犯罪刺配的军官，却让他赢了周谨，连一个配军都赢不过，以后还怎么在大名府混？心中都存怨恨。
正牌军索超最是性急，恰似撮盐入火，人都叫他“急先锋”，此时早已按捺不住，飞马跑出阵前，大叫要与杨志敌对，若输了情愿把自己正牌军的职位让与杨志，话没说完就抡起手中大斧直抢过来。杨志抖擞精神挺枪来迎，与索超大战五十多个回合，不分胜败，梁中书看得眼花缭乱，即令二人休战，传下将令，二人各赏白银一百两，杨志、索超都升任管军提辖使。此后，杨志对梁中书可谓俯首帖耳，更加殷勤伺候。
太师蔡京要过生日，梁中书为丈人准备了价值十万贯的生辰纲，让杨志押送到东京，还另写了一封书信，向蔡京推荐提拔杨志，杨志心中欢喜，一路小心谨慎，只道把生辰纲平安送到东京，定会受到太师重用，没想到在黄泥冈又着了晁盖一伙的道，梁中书的管家不听杨志劝告，领着押送军汉喝了蒙汗药酒，还撺掇杨志也喝了一碗，杨志等人都瘫软在地，眼睁睁看着晁盖等人将那十万贯的金珠宝贝劫走了。
杨志醒来后，气得只想寻死，东京是去不得了，又不敢回去复命，一夜之间，杨志又成了身无分文的穷光蛋，饿了两天肚子的杨志转到一家酒店，杨志没钱，要吃白食，与店老板争斗，那店老板如何斗得过杨志，说：“你且通个姓名，酒肉钱便不要了。”杨志道：“惭愧得紧，洒家乃是东京殿司制使官杨志，因失陷了生辰纲，身边又无半分银子，无法回去复命，流落在此。”
这店老板原来是林冲的徒弟，唤做操刀鬼曹正，曹正留杨志吃了个酒足饭饱，又送了些银两盘缠，此时杨志当官的梦想早已破灭，遂听从曹正介绍，到二龙山落草，最终还是上了梁山。
