大气既是分层的，也是不分层的，在 100 公里以下不分层，100 公里以上分层。
根据大气经验模型 MSIS[1]可以很容易的获得不同高度处的大气成分，可以很明显的看出，大气在 100km 以上分层，并且按从轻到重的顺序排列，从上到下依次是 H-He-N-O-N2-O2-Ar，对应于分子量 1-4-14-16-28-32-40.
而在 100km 以下，N2-O2-Ar 保持相同的比例 78%-21%-1%，当然还有少数其它气体。
大气分层遵循着简单而又复杂的规律，支配大气分层的第一重规律是热运动扩散和重力的平衡，其结果是气体在竖直方向上满足玻尔兹曼分布律：
很明显起支配作用的是 e 指数上的具有长度量纲的一个常数，我们将其称为标高：
其中
显然表示热运动的动能，mg 则表示重力作用，只有在标高 H 的尺度上，重力势能才能和热运动的动能相比，小于标高则重力作用不显著，气体在不同高度均匀分层，远大于标高则热运动作用不显著，几乎所有气体都沉淀在最下层。
让我们以氧分子 O2（32g/mol）为例，计算地表附近（T=300K）的标高
为计算简便，式中用了阿伏伽德罗常数进行替换
我们再计算 500km 高度（T=1000K）的氧分子的标高
再计算一下 500km 高度（T=1000K）的氧原子 O（16g/mol）标高
很显然，高度越高，气体越轻，分层就越困难。在 80km 的尺度上，氧原子 O 的密度才能产生显著的变化，而理论上，地面附近的氧气只需要 8km 变化就很大了。
我们如果不计算相对比例，而是计算实际密度的话，可以更明显的看出其差异。
在下图中，地表附近的氧气 O2（橙线）密度的降低速度，要远远快于氧原子 O（红线）在 500km 的衰减速度。氢原子 H（粉线）甚至在对数坐标上也几乎是一条竖线，即密度在 200km 以上几乎没有变化。
因原子重量的不同，导致标高不同，也就是扩散平衡差异，使较重的粒子在下方占的比例更大，较轻的粒子在上方占的比例更大，也就导致了大气分层。
但如果我们仔细看图，在成分图中，100km 以下各成分的比例非常稳定。在密度图中，三种气体成分按相同的速度衰减。他们之间的质量差异并未体现，似乎就是质量相同的三种粒子。
这是因为在地表有复杂的大气湍流，地表随着地球自转，会周期性的被太阳加热和自身散热冷却，再加上海陆热力性质差异，以及复杂多变的气旋，会让 100km 以下的大气运动非常复杂。
大气湍流就像溶液里的搅拌棒一样，将不同气体充分混合，表现出平均的运动效果，也就是不同成分的粒子都表现出整体的平均质量，并进行扩散，也就无法分层。
就像如果有人放屁，在空气静止的室内，即使很近也要过一会儿才能闻到，但如果在下风口，立刻就闻到了。大气的宏观运动要远远强于不同分子扩散的差异。
但大气湍流很难上升到 100km 以上，原因尚不十分清楚。人们将此高度称为湍流层顶（turbopause）。
在湍流层顶以下，由于湍流作用，大气各成分比例温度，被称为均质层（homosphere）
在湍流层顶以上，重力和热运动主导，大气显著分层，被称为非均质层（heterosphere）
如果再仔细看图，你还会发现 N/H/O 三种原子并没有按玻尔兹曼分布延续到 100km，而是早早的消失了，不然他们应该在地表附近也存在不少。
这点就很简单了，因为地表附近这三种原子都不能稳定存在，必然会通过化学反应变成 O2/H2/H2O/NO/N2 等等物质，但在高温稀薄的高层大气，这些成分就可以稳定存在了。
至此我们了解了四种主导大气成分的因素：
1.无处不在的重力使物质倾向于聚集在地表
2.分子热运动引起的扩散使物质分布均匀
3.大气湍流的宏观运动使不同物质充分混合
4.化学反应消灭掉不能稳定存在的成分
当然还有其它因素，比如各元素的丰度比例等，就涉及宇宙演化、地球演化、生物演化的复杂过程了。
除了大气分层以外，题主还有一些问题，在此简要回答：
为什么油水之间可以分层
因为油水不互溶，水分子直接可以通过氢键抱团，油分子也能抱团，但不能互相抱团，因此就像男生女生一样，各自聚成一团。这甚至和密度无关，即使密度一样也能抱团。
硫酸铜溶液……完全不能分层
硫酸铜可以溶于水，硫酸根和铜离子都能和水结合，因此在溶液中的是 水分子 - 水合铜离子 - 水合硫酸根离子，这三种离子要想分离可以参考前面计算的标高，即使完全静止也得有几百米高的溶液才可能分离，这种压强差足以影响液体密度和溶解度了，而且还有分子间作用力的影响，上面的公式甚至不适用。
不过海洋有所谓的“温盐环流[2]”，这可以作为成分差异的一种样例。
另外水和酒精是可以以任意比例互溶的，但也受氢键影响，虽然不好分析，但尺度肯定需要拉大，至少拉大到上层水和下层水出现显著的密度差异。
空气中的粉尘有的可以分层有的不可以
这个可以用标高解释，质量大的标高小，随高度衰减快，容易分层，质量小的不容易分层。
由于湍流会影响这个过程，定量的分析很难。
但已知的是 pm10 可以有效沉降（分层），pm2.5 就不行，pm10 要比 pm2.5 重。
我们可以简单的认为，比 pm10 大的几乎都会沉降，比 pm2.5 小的都不会。