水星属于类地行星，有着地球一样的岩石结构，由大约70%的金属和30%的硅酸盐材料组成。水星的密度为5.427克/立方厘米，仅次于地球的5.515克/立方厘米，位居太阳系八大行星第二位。
研究人员从水星的密度推测出其内部结构细节。与地球相比，水星的质量与重力较小，内部没有重力挤压效应，其核心含铁量较大而具有较高的密度。研究人员估计，水星的核心半径达到水星半径的3/4，占据了水星总质量的61%。
近期的研究数据支持水星有一个熔融的核心，包围着核心的是500–700千米厚的硅酸盐地幔。根据水手10号和从地球观察的资料，水星的地壳被认为只有100-300千米的厚度。
研究数据显示，水星核心含有的铁高于太阳系内其他行星。至于为何会出现这种情况，目前有几种理论。拥护者最多的理论是巨大撞击假说，这个理论认为，水星原本有着一个常见的球粒陨石金属-硅酸盐比率的核心，质量大约是当前质量的2.25倍。在太阳系早期，水星遭受到一颗直径数百千米，质量约为其1/6的行星撞击。这次撞击剥离了大量原始的地壳和地幔，留下的核心就相对的成为组成中较大的部分。
另一假说认为，古水星的质量是现在水星质量的两倍，但当时的水星温度非常高，可能在2300-3500K，并且可能高达1000K。在原行星的收缩过程中,水星表面许多的岩石成分在高温下汽化，成为大气层中的“岩石蒸汽”，然后被太阳风吹走了。
还有一种假说认为，太阳星云造成水星吸积的物质被拖曳，这意味着水星表面较轻的物质会从吸积的材料中丢失。
不论水星这个“大铁球”是如何形成的。从地球视角来看，水星的的确确就是一个高悬天外的“大铁球”。
