1961年2月6日早上，李敖结束军队生涯，自澎湖搭军舰回高雄旋即抵台中。15日北上，暂住温州街73号台大第一宿舍第四室，他决心要找一间小房，作为一个人能够清静的所在。（1）
这么多年来，他从没机会一个人有一间房，此番北上，一定要达成这一心愿。
两天后，他租到新生南路3段60巷1号的陋巷小屋，只4个榻榻米大，矮得双手不能向上举。订名为“四席小屋”。
隔壁住着他一个朋友，两人合买了一台收音机，又弄来唱机，把木板隔间挖一个洞。置收音机与唱机于洞口，两个谁都可以使用它。（2）
“四席小屋”只是陋巷中的一间，陋巷左右门对门共有小屋十多问，活像“军中乐园”。
进入巷口第一间是一个101公斤的胖侨生租的，房里有一台小电扇，是李敖最羡慕的，因为他买不起。（3）
有一次在外遇雨，坐计程车回来，那是他第一次坐计程车，想不到表一跳又一跳，而他的心也随之一跳又一跳，跳到10元，心惊害怕，连喊“下车！下车”一一人穷之时，计程车都坐不安稳也。（4）
住进“四席小屋”对他是大日子，这天是1961年2月17日。小屋月租220元，是朋友借给他的。（5）
第二天，即有日记如下：
入夜在小屋中边整理边读写，伏大桌上，点一百支灯，听外面的小雨声，想到多年奔波，今夜起聊得小休，兴奋得连撤三尿。
夜是寂寞的，我拿出胡适的照片，他这时也正在夜作——没有情绪地。（6）
“四席小屋”开门就是陋巷，出巷即是台大。台大这时正是春暖花开的季节，他走回来，大有物是人非之感。过去的老朋友、老情人都已高飞远飚，晚上从老师的研究室走出来，整个的文学院大楼一片漆黑，他想到自己的身世和抱负，忍不住要叹一口气。（7）
有时候，陈宝琛的两句诗就从他嘴边冒出来，正是：
委蜕大难求净土，
伤心最是近高楼！（8）
有一天，只有一张吃一顿的饭票了，拿在手里，而隔壁的朋友也没有饭吃，就送给了隔壁的朋友，假装说自己吃过了，害得只好饿了一顿。（9）
可穷归穷，却还要跟小鬼们打赌：“看春宫小鸡鸡硬不硬？”
小鬼们看完后，小鸡鸡没硬，所以只好去借钱请吃香蕉。（10）
朋友知他穷，亦来邀他写武侠，赚大钱，几次找他，他都拒之，他认为武侠小说下流。（11）人穷到这种程度，只好赶写文章发表，靠稿费救急。他思忖：“每月为文二篇发表，亦可获200元稿费补助。”（12）
于是，从3月到4月，他写了《充员官》、《独身者的独白》、《爱情的刽子手》、《中国小姐论》等文章，分别发表在《中华日报》、《联合报》、《人间世》杂志等。聊辟财源。（13）
4月8日，他老师姚从吾先生拿着王洪钧先生写的一篇《如何使青年接上这一棒》向这个小自己43岁的学生征求意见。（14）
李敖把它们匆匆看过，然后抬起头来，望着姚先生那稀疏的白发，很诚恳地答道：“王先生在文章里说得很明白。他说‘首先不必谈如何使青年接上一棒，倒要看看如何使老年们交出这一棒’。站在一个青年的立场，我所关心的是：第一，从感觉上面说，老年人肯不肯交出这一棒？第二，从技巧上面说，老年人会不会交出这一棒？第三，从棒的本身来说，老年人交出来的是一支什么样的棒？我担心的是。老年人不但不肯把棒交出来，反倒可能在青年头上打一棒！”（15）
姚先生听了他的话不禁大笑，他也感到很好笑。但在他们两个人的笑脸背后，似乎看到果戈里的句子，两个人的笑都应该是“含着泪水的”！（16）
笑过后他立即就想作一文抒感。（17）
6天后的夜里，他将“想”变成了“做”，一直写至夜3点，文思如泉涌，他想：“此文若得售，必可轰动。”当晚拟定《老年人和棒子》。（18）
他不但努力写作，也努力进修，还忽然大发神经，要把法文、德文同时学出个名堂。乃加入补习班，每周一、三、五学法文，二、四、六学德文。
过了一阵子，有人问他朋友：“李敖到底是法文好还是德文好？”他朋友打趣道：“那要看你是星期几问。”（19）
“四席小屋”虽好，但是每晚有老鼠在天花板上奔驰，未免美中不足，白天又因地处要津，每天客人不断，最多时候一天有14个客人，附近环境又太吵。老太婆、少奶奶、小孩子一大堆。
他虽在陋巷，但自己却先“不堪其扰”起来，熬了4个月，决定下乡。（20）
选来选去，在新店选到了一间小房，背山面水，每月200元，于是他装满了一卡车的书，在6月15日搬到新家。（21）
新家是新店狮头路十七号，订名“碧潭山楼”。所谓山楼，其实很简陋，不但通过陋巷，且要通过臭菜场与臭河沟，房子只是一间5个榻榻米大的小房，不过是钢骨水泥的，绝无鼠辈在头上奔驰，可谓一快。还有一个好处，就是有浴缸可和二房东一家分用。（22）
他独自一人徜徉山水之间，或入夜泛舟碧潭，或看廉价电影一场，极得孤寂之乐。还在房门上挂牌子：
也许在划船、在看电影或吃饭，反正没离开新店。（23）
可见他新店山居岁月的一斑，7月5日日记：
一个丰富的工作天，写出信四，卡片寄给胡（胡适），看《武士妖后》钉架子，改了100本作文，晚接客，景（景新汉）鼓（陈鼓应）吴大中（9年未见了！）少杰（张少杰）四个，11点始归我所有，6小时写5000字。（24）
7月22日，他写《打水仗回来的感想》：
今天是周末，我看了一场《陷阱》，述小男孩恋白朗黛·李。下午大练水泥石礅，昨天做的，工本19元，一定要练出一个伟大的体魄不可。晚饭番茄四只。独自泛舟归，三汉子三丫头已在窿，又去划船，大打水仗，华俊惨败。客散伏案，已一时矣。
报载留学生“学成”归台啦、王其允献唱啦，以及马戈之“叛变”啦，华俊之欲飞啦，她们说侨生们之追莫宜春啦、《联合报》又退我稿子啦……似乎每件事都可以引起我的一点小感想，想到头来，所感者只是一种，就是不管别人怎样变化，不管别人怎样看我，我都不介意、不沮丧，我李敖就是我李敖，我讨厌市侩之浮名，我讨厌被动，讨厌走这些青年男女所走的路，“命运”注定我要走我的路，而山居独立正是一个起点，我高兴我竟在26年的“为外物所牵”的生活以后，竟能开始走上我真正该走的路，我不能不高兴，当然在这种高兴里面有着相当比重的孤寂与叹息，可是这又有什么关系呢？我是这么迷信我自己！迷信我自己所走的路！当我看到陈其龙和他的女朋友，看到小丫头白白的膝盖，想到鲍家麟那白净聪明的小样儿……也许我也未尝不稍稍起一点“忮求之心”，但是这些“妄念”很快地就被我那对“重大的决定”的迷信打消了，打消得烟消云散。我看着善墙送我的好烟好茶，想到我已经不再是一个温情和多情的人，也许我愈来愈变得理智与冰冷，对人淡漠，我没有办法不这样变，只有理智的独立独行可以拯救我自己，我把我自己跟这些年轻人拉了条鸿沟，这是一条没有人肯去也没有人能走得好的路，可是我走了，它给了我永恒安全与成绩。这三项安慰是任何欲望太强心儿太浮的人得不到的。
这种感觉以后我也不多写了，我改用“着手研究毫不相干的一个小专题”来消遣我自己。（25）
7月31日写《人间俗气一点无》：
留学考放榜，引起我许多感触，我觉得在默察人生上面更向前迈了一步，好像我走的路愈来愈跟他们隔得远了。我的思想现在显然是相当出世的，出世得觉得“许多事是盲动，许多话不值得说”，因此我显然选择了喜欢独处与不爱多说的路，我打不起劲儿去热衷人事，我毕竟是反派的人物，我不再能肯定世俗的荣耀与腾达。一个走到我这种境界的人，不会再有寂寞的感觉，我不怕孤独，我不怕孤立。
想到死亡与牢狱，常常想到死亡与牢狱，我为什么不去做我喜欢做的呢？我该笑“尘网”，在“尘网”中漏下来的没出息的“被遗弃的人”，我就是一个。我突然发现我是一个不折不扣的犬儒派，除了不在木桶里面外，我实在找不出我走的方向与Diogenes有什么不同，这是一条多好玩的路，一条永远可恃永远清净的路，做点有性灵的事，说点精炼过的话，写几篇真正属于李敖自己的文章，无牵无挂，终此顽生，不亦快哉？（26）
李敖就是李敖，在所有的人都在变的时候，他却一直坚持着自己选择的路，尽管有些孤独，但“不亦快哉”的日子似乎还在继续。
在8月18日这天，（27）他去参加考研究所的口试，众教授环座，但没人“敢”提问，最后主试者文学院院长沈刚伯问了一句：“你还要穿长袍吗？”遂在大家一笑状态下，考取了。（28）
新店山居给了他许多退伍以来的新经历，比如终于接近了大自然，比如终于睡上了木板床（在“四席小屋”睡的是行军床），比如终于考上了研究所（两年前为了回避“罗”考研究所，他没报名）……新店山居虽有很多新经历，但是一个老经历还是没有解决，就是穷困。
在给姚从吾老师做台湾长期发展科学委员会助理的时候，因为该会成立不久，一切还没有完全上轨道，所订一些规章不尽理想。在助理人员发薪上要拖上一阵子，就是一例。他身受其害，终于忍不住了，决定不使姚从吾老师为难，直接“通天”了——他在10月6日写信给老师的老师胡适抗议，因为胡适是这个委员会的负责人。（29）他在信中说：
我们做助理的人与研究讲座教授和领甲乙种补助的先生不同，他们有救授、讲师的本薪，补助的钱对他们是“安定费”，是本薪以外的“补”与“助”。可是我们“助理级”的就不同了，早几天或晚几天发薪对我们所生的影响是不能跟他们比的。每月唯一的1000元，它是我们本薪，它迟迟不发，对“专任”两个字是一种讽刺，并且使我个人不好意思再向姚先生借钱，使我三条裤子进了当铺，最后还不得不向您唠叨诉苦，这是制度的漏洞还是人谋的不臧我不清楚，说句自私的话，我只不过是不希望“三无主义”在我头顶上发生而已。（30）
胡适收信后，在7日就限时信寄到他新店山居：
李敖先生：
自从收到你7月4日的长信和那一大盒卡片之后，我总想写信请你来南港玩玩，看看我的一些稿件，从吾先生说：“等他考过研究所再找他吧。”后来我见报上你考取了研究所的消息，那时我又忙起来了，至今还没有约你来玩。
过了“双十节”，你来玩玩，好不好？
现在送上1000元的支票一张，是给你“赎当”救急的。
你千万不要推辞，正如同你送我许多不易得来的书，我从来不推辞一样。
你的信我已经转给科学会的执行秘书徐公起先生了。他说，他一定设法补救。祝你好。
胡适1961年10月7日夜
这张支票可以在台北馆前街土地银行支取。（31）
收到胡适的信和1000元后，他非常高兴，也很感动。
胡适是他爸爸的老师，虽然胡适早已忘了他爸爸的名字，但对他的赏识纯粹是基于对他的治学成绩的讶异，胡适看出了他是最有潜力的台大学生。这1000元的确帮了他大忙。也许有人说风凉话，说胡适此举意在收买人心。但是他老先生这样做，对人有益，对己无害（除了少了1000元外），又何乐而不为？别的老先生高高在上，会这样帮助一个年轻人吗？一比之下，就知道胡适的高人一等了。（32）
为了救急，他只好动用胡适寄来的1000元。但决定不把这1000元作为赠款，只作为贷款，决定借用一阵子后，把钱还给胡适。（33）
他在10月10日回信给胡适，表示感谢。信中也讲述了“李敖先生”的一些身世，其中包括他跟严侨的关系，和严侨被捕后、死去后，自己如何受到胡适自由主义的影响，因在思想上得到新境界。这封信写得很长，有5000字，写得很动人。
长信全文如下：
适之先生：
老年人总爱把青年当毛头小孩子，所以我们心眼儿的话都不跟他们说，你在这方面非常开朗，所以“李敖先生”愿意请你听听他的故事。
我不喜欢假惺惺地谦虚，我自觉我个人的身世很有代表性，我觉得我个人的历史很可以代表现代中国的某一些青年——他们怎样在长成、在选择、在迷乱，最后怎样在制式教育底下做叛徒。这一段辛苦的过程中，多少青年倒下去了，我是运气较好的一个，因此我还能自由地活着，活着讲我的故事。
我的祖父十几岁起就在山东做叫茄子，后来替人赶马车，流浪到关外，三百六十行中至少干过十分之一。还有“外一章”一一做过土匪，一次负了伤，躺在土坑里穷哼哼，一位大姑娘救了他，他就讨了她做老婆，我爷爷也是个PTT，从此洗手从良，几十年后，居然被他熬出一家银楼。我奶奶真能生，独力生了12个（6男6女，成双成对），她是热河人，我爷爷一生气就骂她“穷山恶水，丑妇刁民”。可是“丑妇”颇有眼光，至少她说动了我那目不识丁的土匪爷爷，叫他送“老二”（我老子）上了京师大学堂。
“老二”在民国九年考入了北大国文系，他的同班陆侃如、魏建功都有了成就，可是他没有。一毕业，十几口的家就连累了他，使他放弃了吉林送他留学的公费，使他在抗战时逃不到大后方，他逃到北平，就逃不动了（“九·一八事变”后我们全家到北平，我父亲到处找事都没头绪，他去找过你帮忙，可是你没见他，他很失望，所以后来一提胡适之，他总是唔呀唔的）。后来他总算在法部找到一件小差使，一次办移交的表现，居然使一位朱九爷赏识了他，此后一直保荐他，直做到王克敏手下的太原禁烟局的局长（他在胜利后从书堆里掏出一张马占山开给他担任敌后工作的证明，可是我颇怀疑他对工作认真的成绩。）
日本华谷中将（？）为了打击王克敏，说我父亲贪污，一年监狱审问竟找不出证据，出狱后王克敏为了酬劳他“尽职”，给他做华北禁烟总局的局长，可是他似乎知道日本快垮了，不能再干了，急流勇退，是他聪明的地方。胜利后北平大抓汉奸的当儿，他却安然化名在东北营煤矿做他的总务处长！
抗战时没逃到后方，他颇以为憾，所以共产党一来，他决定先跑，跑到台湾来，箱里的老底子全折腾光了，知道他的人不相信他没钱，按说我也不相信，但我发现早上起来必须要用盐水代替牙膏的时候，我开始相信了。
我父亲有意埋葬他过去的历史，重新捡起他在北大毕业时的行业，在中学教起书来。他的文章和人格是我怀疑的，可是他的口才与办事能力我还看不到有谁比他好。他看到他旧日的老同学，凡是不为家累逃到后方去的，如今都做了省主席、立监委，他的学生也做了次长子，似乎不无感慨。他是一块做政客的好材料，他不能在这方面继续发挥所长，所以就安心做了一个好教师。
他死的时候居然落得台中市市长以下两三干人送丧场面，那时候似乎人人都痛失师表，人人歌颂他，同时骂那“不磕头，不烧纸，不流一滴眼泪，主张丧礼改革的儿子”！
那是我生平最得意的一次经验，是我独自一人在传统与群众面前表现“吾往矣”的勇敢，如果你要找寻一个“我对于丧礼的改革”那篇文章的试验人，你一定无法阻止我的自荐。但是当我反抗我的长辈们逼我磕头的时候，在我脑袋里打转的还不是那篇文章而是那首诗——《礼》！
那是我大学一年级的事，那时我刚20岁零两天，可是我觉得我已长成了。
