光的折射与反射定律是以光的直线传播作为基础的，但在实际观察中也存在着与这一原则相违背的现象。意大利人格里马尔迪（1618年～1663年）首先发现了光的衍射和双光干涉现象并得出结论：
“一部分光叠加到另一部分光上会导致照度的增强。”他认为光是一种能够作波浪式动作的流体。它以极快的速度传播，不同的颜色是波动频率不同的结果。可以看出，格里马尔迪是波动说最早的提倡者。他的重要发现是在他去世后于1665年出版的书中所叙述的，牛顿还曾重复过这些实验。
英国人玻意耳（1627年～1691年）于1663年提出，物体的颜色并不是物体本身的内在属性，而是由光线在被照射面上发生的变异引起的，他还第一次记载了在肥皂泡和玻璃球中产生的薄膜干涉条纹。胡克也研究了薄膜的色彩，提出了红色和淡蓝色两种基本颜色的不同组合的假说。1669年丹麦的巴塞林（1625年～1698年）发现光线通过冰洲石分为寻常光线和异常光线的双折射现象，进而惠更斯于1678年又发现了光的偏振现象。这样在17世纪中后期已发现了波动光学的干涉、衍射、偏振等现象，形成了波动光学的萌芽时期。在17世纪后半叶，牛顿和惠更斯等人对光的研究，把光引上了发展的道路。
众所周知，牛顿是一个伟大的力学家，而在光学上的成就也足以使他列身于科学伟人的行列。他在光学方面的主要工作大多记载在1704年出版的《光学或论光的反射、折射、弯曲和颜色》一书中，书中描述了他所作过的实验和所得的结论。
牛顿磨制了三棱镜，在实验中他发现了色散现象。在1672年的论文中写道：“1666发我做了一个三角形的玻璃棱柱镜，利用它研究颜色的现象。为此我把房间里弄成漆黑的，在窗户口上做一个小孔，让适量的日光射进来，我又把棱镜放在光的入口处，使光能够折射到对面的墙上去，当我第一次看见由此而产生的鲜明的强烈的光色时，使我感到极大的愉快。”这就是第一个分光镜。它证明了白光是由各种色光复合而成的，因而色光在性质上比白光更简单。牛顿还通过另一个实验得出透镜聚光时，蓝光和红光一定是聚集在离透镜不同的距离上的结论，并通过实验证明了这个判断。
在牛顿之前欧洲人对颜色的认识是遵循亚里士多德的观点的，这种观点认为光把透明介质物体的可见性变成了现实，认为颜色是人的主观感觉，一切颜色都是光明与黑暗，白与黑按光的比例混合的结果。牛顿的实验则否定了人们对颜色的认识的主观性，指出不同颜色的光线具有不同的折射本领。牛顿还据此解释了虹的成因。他认为虹实际上是被云中或落下的微小水滴所折射和反射的阳光。当太阳的白光照射进水滴时发生折射，接着进行反射和第三次折射从水滴射出，不同颜色的光分散成一个扇形，如果人背向太阳，就能观察到由不同颜色构成的虹。但是，牛顿由此也提出了错误的看法，他断定透镜成像存在着根本的缺点，不能形成清晰的物像，因此，用透镜制成的望远镜的缺点是不可克服的。于是他利用光的反射和颜色无关这一现象，提出了反射望远镜的设计。
1671年他将一架反射望远镜送给了皇家学会。其构造原理，M为一抛物面镜能使天体发出的光（平行光）成像于O点，如果在其光路中放入一平面镜M′，使光反射成像于O′，则在望远镜的侧壁K处能观察到天体的清晰的像，这种大型抛曲面镜代替透镜的反射望远镜具有不少优点，目前世界上最大的两台天文望远镜，就是反射望远镜。
必须指出，牛顿关于透镜式望远镜的断语是错误的，他的错误点在于他认为不同的透明物质是以相同的方式折射不同颜色的光线的。牛顿去世后，人们发现这个假设并不正确，实际上，我们可以用不同种类的玻璃制成复合透镜把红光和蓝光聚焦在同一点。
牛顿的另一个著名发现是牛顿环现像，这是他在观察胡克描写过的肥皂薄膜色彩问题时提出的。牛顿这样描述他的实验：“取来两块玻璃体，一是14英尺望远镜用的平凸透镜，另一是50英尺左右望远镜用的大型双凸透镜；而在双凸透镜上放一平凸透镜，使其平面一边向下，这时慢慢把它们压紧，使得圆环的中心陆续现出各种颜色，然后我们再把上面的玻璃镜慢慢抬起，使之离开下面的玻璃体，于是这些颜色又在圆环中心相继消失。在压紧玻璃体时……这色环会逐渐变色，直到新的颜色在其中心出现，而它成为包在新色环周围的色环。再进一步压紧玻璃体时，这个环的直径会不断扩大，而其周边的宽度则减小，直到另一新的颜色在最后一个色环中心现出，如此继续下去第三、第四、第五种以及跟着的别种颜色不断在中心现出，并成为包在最内层颜色外面的一组色环，最后一种颜色是黑点；反之，若是抬起上面的玻璃透镜，使其离开下面透镜，色环的直径就会缩小，其周边宽度则增大，直到其颜色相继到达中心，后来它们的宽度变得相当大。”
惠更斯认为光是一种横波还是纵波？
且还进一步作了定量的测量。经过测量得出亮环的半径的平方是一个由奇数构成的算术级数，暗环半径的平方是一个由偶数构成的算术级数。利用这一结论，可以标出透镜的半径，从而计算出各处的空气层厚度。于是得到了环的半径、透镜的半径、空气层厚度和入射光的倾斜度之间的关系。
牛顿研究了环的颜色的交替现象，从而发现了光的周期性。
上述工作说明了牛顿在光学方面所取得的光辉成就。但遗憾的是由于牛顿在关于光的本性的问题上倾向于微粒说，所以他没有对光的上述现象作进一步的探讨。
和牛顿同时代的惠更斯，主张波动说，他认为光是弥漫于一切地方的媒质“以太”中的一种波动。由于惠更斯的工作使光的波动说有了重要的发现。但他的波动说还不完善，又错误地认为光是一种纵波，所以还不能解释物理光学的许多现象。
总之，到此几何光学已经建立起来，而光的干涉、衍射、偏振现象已经被发现，尤其是以惠更斯为代表的波动说的提出，使人们对光的认识由几何光学逐渐向波动光学过渡。
在这个时期由于光学知识取得了进展，推动了人们关于光的本性的研究，出现了持续一个多世纪之久的波动说和微粒说的争论。
