约翰·戴·洛克菲勒的父亲威廉·艾弗里·洛克菲勒是一个声名狼藉的奸商，他用多年做小生意的积蓄在美国纽约州买下了一个农场，这个占地160英亩的农场当年只须付630美元。在移民们沿着伊利湖畔大批西迁后，威廉留下来了。从外表看，身材高大的他似乎是一个老实憨厚、沉默寡言的男子汉，但比心计，附近的人谁也无法和他匹敌，他实际上可以被称为一个无恶不作的江湖骗子。因为当时的印第安人相信在聋哑人身上潜伏着某种神奇和秘密，买他的货会带回家某种吉利和好运，他就把自己打扮成一个聋哑人，赶着一辆满载货物的马车，到印第安人居住的地方兜售各种从市场上批发来的小百货和日用品。当人群围拢来后，他发出一阵阵怪叫声，用手指着车上的货物，或拿一件小玩艺儿塞在孩子的怀里，以吸引人们围观争购。他还推销假药坑害善良无知的贫苦大众，到处贩卖能“包治百病”的草药。天长日久，逐渐懂事的约翰·戴·洛克菲勒终于发现了父亲的药材加工秘密：一天深夜，约翰从床上爬起来上厕所，被一捆野藤和树枝绊倒了，却发现父亲正在用锯子把一支支野藤蔓锯断，放在一个不大的石槽里用木棒捶捣成泥，然后用一张张油纸把捣碎的野藤蔓搓成大小相等的丸子分别包装起来，套装在一些纸袋里，纸袋上面印有“治病特效神药”几个拼写得十分不规则的英文。
为了安全和生计，1853年洛克菲勒一家迁徙到了克利夫兰市一所十分简陋的房子里。就在那一年约翰决意不升大学，在即将中学毕业之前不久放弃了学业。
克利夫兰这个滨河的商港对这位少年很有诱惑力。商船云集，白帆轻扬，各种新型船只不断出现，螺旋桨轮船成为当地的新鲜事物。洛克菲勒放学后，独自一个人来到码头看热闹。在肮脏的码头，装卸工人像牛马一样使劲地装卸货物。商人们则趾高气扬地吆喝着一群群衣着破烂的苦力。小约翰对这里的景象非常着迷，他聚精会神地注视着熙熙攘攘的人流，倾听着四周发出的轮船汽笛声、叫卖声。
他的一个同学曾问他将来想干什么，他非常自信地说：“我嘛，我要成为一个拥有10万美元的阔佬，你相信吗？我一定会成功的。”
在中心中学时，由于小约翰性格孤僻和自傲，没有几个同学能和他相处得很好，大家甚至送他一个“教会执事”的绰号。但他还是结交了一个朋友——同班同学马克，马克后来当上了美国参议院的参议员，成为竞选总统的幕后人物，他还是在政界为美孚石油公司进行斡旋的实力派人物，帮了洛克菲勒不少忙。
为了能够找到工作，约翰上过克利夫兰的福尔索姆商业学院的一个为期四个月的培训班，学会计和簿记。然后，按照沿袭已久的方式，他踏遍克利夫兰的人行道，挨门挨户去找第一份工作。三个星期之后找到了，虽然仅仅是试用，但洛克菲勒还是非常珍惜，甚至认为这是他新生命的开始，他在个人账本上恭敬地记上：1855年9月26日开始在俄亥俄州克利夫兰的休威特和塔特尔商行当簿记员。他不拿工资干了三个月，这时候才被正式雇用，头三个月补给50美元，此后定为每月25美元。
约翰与休威特和塔特尔商行的两位合伙人在同一个办公室工作，他一边努力工作，一边观察着做生意的一切经络，并替自己钻研出一套好的经商经验：诚信、名声和注意细节。
几年后他因年薪问题与休威特和塔特尔商行分道扬镳。因为约翰·戴·洛克菲勒提出想要一年800美元的薪水，但雇主们则认为他不值700美元以上。气愤之下约翰离开了商行，决定自己办公司当老板。
一个偶然的机会，他结识了一位比他大12岁的英国移民莫里斯·克拉克先生。克拉克对这位年轻人很信赖，把自己在商行做事积累的许多生财有道的诀窍传授给洛克菲勒。他们两个人终于合伙办起了一家公司。
为了筹到办公司所需的资金，约翰只好求助于他的父亲，因为当时约翰手头仅积蓄了800美元，还得筹到1000美元才能实现他自己当老板的梦想。约翰的父亲曾经告诉过自己的子女，每个人成年之后可分得1000元美金。当时的成年标准是21岁，而小约翰离这个期限还有1年零6个月。因此他必须按着父亲的要求，在1年半内付给父亲10％的年利息，才能使用这笔钱。
因为约翰的父亲对自己的儿子十分严厉，不讲什么情面。他和自己的孩子做交易，并企图诈骗、打败他们，除了以此锻炼他们做生意的本事和应变能力外，他还想要让他们记住，不要轻易相信除自己以外的任何人，包括自己的父亲。
克拉克—洛克菲勒商行于1859年3月18日在克利夫兰河街32号开张，商行的主要业务是受托买卖农产品和供应品以赚取佣金。约翰那时不过19岁。克拉克当“外场”，对付顾客和委托商品，约翰依然大部分时间干“内场”，经管数字和业务资金。由于有在休威特和塔特尔商行的工作经验，约翰工作起来得心应手。
但商行刚刚运营不长时间，就遇到了变故。那年，中西部的农业区遭到了严重的霜害，作物几乎没有收成，农民希望用来年的谷物作抵押，要求各商行先付定金。这一苛刻要求吓坏了克拉克，使他一时手足无措。一些同行业的商行的纷纷倒闭更加重了事态的严重性。在这种形势下，洛克菲勒却特立独行，出乎其他商行的意料，接受了农民的请求。因为他认识到，克利夫兰商业市场的战略地位正在上升，这里的市场竞争将会越来越激烈和残酷，强者生存永远是一个商品经济中不变的定律。在这种时期把握住供方市场以操纵需方市场，就会确保自己立于不败之地。但这样做需要更多的周转资金，约翰想到了到银行获取贷款的方式来支撑商行的进一步发展。但是当时银行的贷款条件十分苛刻，仅凭约翰和克拉克当时的经济条件几乎是不可能获得贷款的。
抱着试试看的想法，约翰独自一人来到了克利夫兰银行的贷款部门，并见到了信贷部的经理。约翰拿出了公司成立以来的所有的账本给接待他的信贷经理看，并对经理详细叙述了自己获得贷款的目的和用途，出乎意料的是经理竟然很快就答应了他的贷款请求。同意贷款2000美元给商行。这件事在约翰身上留有深刻的印象。“离开这家银行时，我得意洋洋的神情是难以想象的，”若干年后他在他的回忆录《漫忆》中写道，“我仰起脖子想这件事，一家银行竟信任我借2000元！我觉得我现在已是社会上的一名要人。”当时他不满20岁。
在这笔银行贷款的支持下，约翰将自己的商行进一步发展壮大。经过艰苦的一年后，商行便开始盈利了。这一年经销了45万元各种货物，净赚4000美元，第二年更是财星高照，利润竟上升到1万4千美元。洛克菲勒挖掘到了其事业发展的第一桶金，而这笔成功的贷款也使约翰第一次认识到金融资本的力量。
