自1946年电子计算机问世以来的很长一段时间里，计算机不仅非常庞大，而且极其昂贵，只有极少数的公司才买得起。那时，人们上机既费时，又费力，很不方便。为了克服这种困难，人们就想到能不能把计算题目要用的数据和程序利用电话线路送到计算机上，而计算结果再通过电话线路送回来?最早实现这个想法的是美国的军事部门。
1950年，美国在其北部和加拿大境内建立了一个地面防空系统，简称赛其（SAGE）系统。它是人类历史上第一次将计算机与通信设备结合起来，是计算机网络的雏形。
赛其系统还不能算是真正的计算机网络，因为由通信线路所连接的，一端是计算机，另一端只是个数据输入输出设备，或称终端设备。人们将这种系统称为联机终端系统，简称联机系统。联机系统很快就得到了推广应用。按照这种方式，人们只要将一个终端通过通信线路与计算机联起来，就可以在远地通过终端利用计算机，好像人就在机房里面一样。
除了在科学计算上的应用外，联机系统在商业上也得到了大量的应用。如用于航空公司的自动订票系统。航空公司在各售票点的窗口都装一台终端，通过通信线路连到总部的大型计算机上。这样，总部的计算机随时可知道每个航班已经发售了多少票，各终端上的售票员也随时可知道哪些航班还有余票，这样就大大提高了工作效率和服务质量。
在发展联机系统的同时，人们也在探索能不能将计算机通过通信线路连接起来，使得一些计算机上的用户能够利用其他计算机强大的计算能力、昂贵的外部设备和丰富的信息资源。20世纪60年代，美国国防部高级研究计划局资助计算机网络的研究，于1969年12月建立了只有4台主计算机的ARPA网络。这是世界上第一个计算机网络，它就是今天因特网的前身。ARPA网的成功引发了计算机网络研究的热潮，这些研究为计算机网络的发展奠定了理论基础。
随后，以IBM和数字设备公司（DEC）为代表的各大计算机厂商几乎都推出了自己的网络产品，但是计算机网络的普及是俗称个人计算机出现以后的事了。
