金代章宗明昌元年（1190年），在中都（今北京）西北香山一座豪华的宰相府中，宰相耶律履在厅堂中不安地来回走动。忽然，后面的卧室中传来婴儿呱呱坠地的哭声，接着，报信的匆匆说：“报告老爷，是个男孩儿。”耶律履高兴极了，他对亲人说：“我活了六十多岁，才有这么个儿子，这是上天保佑啊！他将来一定会成为我们家光宗耀祖的千里驹，成为名彪史册的人物。”说罢，耶律履十分感慨，他觉得金国正在日渐衰落，这个刚刚出生的孩子，恐怕难为金国效劳，祝愿他将来会得到异国的任用而有所作为。所以，他苦心孤诣，要为这个孩子取个吉利的名字，他想了半天，就以“楚材”为名，“晋卿”为字。它出自我国春秋时的史书《左传》：“楚虽有材，晋实用之。”即楚国虽有人才，却会被晋国实际使用。这句话后来成为列国间引用他国人才的通用语。
耶律履为他儿子所取的名字，后来果然应验。耶律楚材长大成人，虽然也做了一段时间金国的官吏，但后来蒙古汗国伐金时，他顺应历史潮流，辅佐成吉思汗父子，做了一番轰轰烈烈的事业，成为我国历史上杰出的封建政治家。
耶律楚材的祖先是我国古代北方的少数民族契丹族，他是辽代东丹王耶律突欲的八世孙。耶律突欲（又名倍）是辽太祖耶律阿保机的长子，在辽天赞四年（925年）耶律阿保机册封耶律突欲为“人皇王”，让他主持东丹国政。在辽代，这个显赫的皇族，世代均是高官，到耶律楚材的祖父时，随着辽代的灭亡转而归顺了金国，耶律楚材的父亲耶律履以文章德行得到金世宗完颜雍的信任，被任命为翰林待制、礼部侍郎。金章宗完颜璟即位，耶律履因功勋卓著历任礼部尚书、参知政事，最高任尚书右丞（相当于宰相），死后追封为文献公。
耶律楚材的父祖辈声名显赫、官高位尊。耶律楚材在《为子铸作诗三十韵》一诗里，非常骄傲地赞颂了祖先的高深文化修养和治世功勋。
契丹族原发祥于辽水以北，是北方游牧民族。但到了耶律阿保机建国前后，契丹族与中原汉族的联系日益密切，不少人接受了汉文化。耶律楚材的八世祖耶律突欲就是契丹皇族中最早接受汉文化的人之一。他曾建议其父辽太祖耶律阿保机建立孔子庙，兴办儒学。他治理东丹时即采用中原汉法。他博学多才，既善于骑射，又工于书画，懂医药针灸，并能用契丹文、汉文两种文字写出很好的文章。他在今辽宁省阜新市东南风景秀丽的巫闾山上建造了望海堂，藏书近万卷。其后楚材的历代先辈均有较高的汉文化修养。特别是他的父亲耶律履，精通儒、释（佛）、道，能用汉文写一手漂亮的文章。这些对耶律楚材的影响都是很大的。
耶律楚材 2 岁的时候，他的父亲就去世了。他是在母亲杨氏的养育与教诲下成长起来的。杨氏是当时名士杨昙之女，出身于书香门第，具有较高的文化修养，被封为漆水国夫人。她谨遵丈夫希望楚材学有所成、光宗耀祖的遗愿，对楚材的教育抓得很紧。她除传授儿子启蒙知识外，还经常给他讲古人“头悬梁”、“锥刺股”等刻苦学习的故事，教导他从小树立远大志向，使楚材从少年时代起就勤奋好学，知书懂礼。
耶律楚材自幼生长在金朝国都中都（今北京），当时中都是金国政治、经济、文化的中心，金国统治者把大批南方的文人和经书都集中到此。耶律楚材出身于官宦家庭，因而有机会接触到汉文化的儒家经典。
幼年的楚材聪明好学。有一次，杨氏看小楚材学习的时间很长了，就领着他到后花园散步，花园里其他的小孩都在追逐玩耍，母亲对耶律楚材说：“你去和小伙伴们玩吧，我到书房中等你。”说完杨氏就回书房了。一会儿，小楚材就跑进书房。杨氏问：“你怎么这么快就回来了？”楚材说：“妈妈，你教我的汉字我还没练完呢！等我练完了再去玩。”杨氏用手摸着楚材的脑袋，眼泪掉了下来。这一年，耶律楚材才7岁。
从13岁开始，耶律楚材大量阅读了中国历史上的《诗经》、《尚书》、《论语》、《易》、《春秋》等文史哲经典著作。到了17岁，已经是“书无所不读”，并且文章也写得很好。他经常到家乡附近风景秀丽的玉泉山一带游玩，玩到高兴处往往写诗作文抒发胸怀。玉泉山华岩殿后面有一个七真洞，洞里曾留下他刻写的不少诗词。
幼年丧父，耶律家的衰落，对耶律楚材的成长当然要发生很大的影响。耶律履虽然官居宰相之职，俸禄可能很优厚，但他平时仗义疏财，乐善好施，受到人们的称赞，“文献阴功绝比伦，昆虫草木尽承恩”，却不善于置家，一旦去世，竟然没有给家人留下一份可观的遗产。后来，耶律楚材在自己的诗中回忆他的父亲：“入仕三十年，庙堂为柱石，重义而疏财，后世遗清白。”不会完全是假话，“我考文献公，清白遗四壁”，大概确实是没有很多遗产的。尽管这会给他们的生活带来某种程度的拮据和不便，有时不免感叹“余生叹不辰”，但贫困的生活也能磨炼有志者的意志，“贫困志不渝，未肯忘平昔”。耶律楚材表示坚决要干出一番事业来。
耶律楚材在父亲去世后，经济状况虽然不太好，但学习的条件还是优越的，经过他的艰苦努力，短短几年中，竟然学到了不少知识。据说，他博览群书，旁通天文、地理、律历、术数及释老、医卜之说。而且文思敏捷，下笔为文，奋笔直书，很少改动，好像头一天就作好了似的。
楚材虽然幼年丧父，靠母亲杨氏抚养长大，但毕竟是宰相门第，父亲在世时又受到皇帝高度重视，所以，仍有一些高官显宦常与他们家来往。这些人经常谈起官场上的事情，加上楚材自己对社会现实、百姓生活的观察，激发了他为国为民做一些事情的愿望。而当时走上官场的唯一捷径就是参加科举考试。按照金朝的制度，宰相一级官员的儿子，可以通过考试在中央尚书省担任官职。耶律楚材基于自己的学问与个性，不愿意依靠父亲的余荫，参加那种含有照顾意味的考试，而决心和所有的举子一样进行公平竞争。这件事被皇帝完颜璟知道后，特意把楚材叫去考问他的学问根基与治国方略，感到很满意，并降旨让他参加正常的进士科举考试。进士科举考试是封建时代选用人才的最高考试形式，楚材于金章宗泰和六年（1206年）参加了这种考试。同试者有17人，独楚材的试卷对答最好，一举考中了甲科。
