ISDNやADSLといった通信速度の違いは当然です。
またサイトのつくり方の違いなどによっても違います。
これらはサーバー以前の問題です。
しかし同じ環境下でホームページがなかなか開かない等の現象は、サーバーのスペックが関係します。
転送量を監視し、大きな回線を保有していれば当然ホームページの表示は速く、軽くなり安定します。