深入理解浮点数 - 存储与运算原理

published: 8/7/2025 and updated: 8/7/2025

Computer Systems Computer Systems , IEEE 754 , Floating Point

This article is hidden from post list

Language / 语言

简体中文 (current) | English

写在前面#

在计算机科学中，浮点数(Floating Point Numbers)是我们处理实数的主要方式。无论是科学计算、图形处理，还是日常的数值运算，浮点数都扮演着核心角色。然而，许多程序员对浮点数的内部表示和运算机制缺乏深入了解，这往往导致一些”神秘”的bug和精度问题。

同时，对于深度学习的量化过程，浮点数的运算是重要的基础知识。

本文将深入探讨IEEE 754标准下的浮点数存储格式，包括单精度(Single Precision)和双精度(Double Precision)，以及它们的运算原理和常见陷阱。

由于笔者专注于系统底层，文中会涉及较多二进制表示和硬件实现细节，如有疏漏之处，请读者见谅。

IEEE 754标准概述#

IEEE 754是目前广泛采用的浮点数表示标准，定义了浮点数的二进制表示格式、运算规则和特殊值处理。该标准的核心思想是将实数表示为科学记数法的形式：

(-1)^{sign} \times mantissa \times 2^{exponent}

这种表示方式能够在有限的比特位内表示极大或极小的数值范围，但代价是精度的损失。

标准格式对比#

IEEE 754定义了多种浮点格式，最常用的是32位单精度和64位双精度：

格式	总位数	符号位	指数位	尾数位	指数偏移	有效精度
单精度(float)	32	1	8	23	127	~7位十进制
双精度(double)	64	1	11	52	1023	~15位十进制

NOTE

指数偏移(Bias)是为了表示负指数而引入的偏移量。实际指数 = 存储的指数值 - 偏移量。

单精度浮点数(32位)#

存储格式#

单精度浮点数使用32位来存储一个实数，具体分配如下：

plaintext

位31    位30-23      位22-0
 S      E E E E E E E E      M M M M M M M M M M M M M M M M M M M M M M M
符号位     8位指数            23位尾数(Mantissa)

单精度浮点数格式

各部分含义#

符号位 (Sign Bit)#

位31：0表示正数，1表示负数
仅决定数值的正负性

指数部分 (Exponent)#

位30-23：8位无符号整数，表示指数
使用偏移编码(Biased Encoding)，偏移量为127
实际指数 = 存储值 - 127
范围：-126 到 +127（0和255为特殊值保留）

尾数部分 (Mantissa/Significand)#

位22-0：23位小数部分
采用隐含前导1(Implicit Leading 1)技术
实际尾数 = 1.M₂₂M₂₁…M₀（二进制）
提供约7位十进制精度

数值计算实例#

让我们以32位浮点数 0x42280000 为例，分析其表示的数值：

plaintext

十六进制: 42280000
二进制:   01000010001010000000000000000000

位域分解：

符号位：0 (正数)
指数：10000100₂ = 132₁₀
尾数：01010000000000000000000₂

计算过程：

实际指数 = 132 - 127 = 5
完整尾数 = 1.01010000000000000000000₂ = 1.3125₁₀
最终结果 = (+1) × 1.3125 × 2⁵ = 1.3125 × 32 = 42.0

双精度浮点数(64位)#

存储格式#

双精度浮点数使用64位存储，提供更高的精度和更大的数值范围：

plaintext

位63   位62-52           位51-0
 S     E E E E E E E E E E E    M M M M M M M M ... M M M M (52位)
符号位    11位指数              52位尾数

关键特性#

扩展的指数范围#

11位指数：支持更大的数值范围
偏移量：1023
实际指数范围：-1022 到 +1023

更高的精度#

52位尾数：提供约15-16位十进制精度
隐含前导1技术，实际精度为53位二进制

存储优势#

表示范围：约 ±1.7 × 10³⁰⁸
最小正规化数：约 2.2 × 10⁻³⁰⁸
机器精度ε：约 2.22 × 10⁻¹⁶

TIP

机器精度(Machine Epsilon)是指在1附近能够区分的最小正数，它反映了浮点数系统的相对精度。

特殊值处理#

IEEE 754标准定义了几种特殊的浮点值，用于处理异常情况：

零值 (Zero)#

plaintext

+0.0: S=0, E=00000000, M=00000000000000000000000 (32位)
-0.0: S=1, E=00000000, M=00000000000000000000000 (32位)

NOTE

正零和负零在数值上相等，但在某些运算中表现不同，如 1.0/+0.0 = +∞，1.0/-0.0 = -∞。

无穷大 (Infinity)#

plaintext

+∞: S=0, E=11111111, M=00000000000000000000000
-∞: S=1, E=11111111, M=00000000000000000000000

非数值 (NaN - Not a Number)#

plaintext

NaN: S=X, E=11111111, M≠00000000000000000000000

NaN用于表示未定义的运算结果，如：

0/0
∞ - ∞
√(-1)

浮点运算原理#

加法运算步骤#

浮点数加法比整数加法复杂得多，需要经过以下步骤：

指数对齐：将较小数的指数调整到与较大数相同
尾数相加：对对齐后的尾数进行加法运算
标准化：调整结果使其符合IEEE 754格式
舍入处理：根据舍入规则处理多余的精度位

TIP

浮点数的加法运算在实际计算过程中会占用大量资源，因此相比乘法计算，要尽量减少这个过程，以避免算力的过度消耗。

计算实例#

计算 3.25 + 1.125：

步骤1：转换为二进制科学记数法

3.25 = 1.101₂ × 2¹
1.125 = 1.001₂ × 2⁰

步骤2：指数对齐

1.125 = 0.1001₂ × 2¹ (右移1位)

步骤3：尾数相加

1.101₂ + 0.1001₂ = 10.0011₂

步骤4：标准化

10.0011₂ × 2¹ = 1.00011₂ × 2²

结果：4.375

乘法运算#

浮点乘法的步骤相对简单：

符号计算：结果符号 = 操作数符号的异或
指数相加：结果指数 = 指数1 + 指数2 - 偏移量
尾数相乘：计算尾数的乘积
标准化和舍入：调整结果格式

精度问题与陷阱#

表示误差#

并非所有十进制小数都能用二进制浮点精确表示。例如：

float x = 0.1f;
printf("%.17f\n", x);  // 输出: 0.10000000149011612

这是因为0.1的二进制表示是无限循环的： 0.1₁₀ = 0.000110011001100…₂

运算误差累积#

由于舍入误差的存在，连续的浮点运算可能导致误差累积：

double sum = 0.0;
for (int i = 0; i < 10; i++) {
    sum += 0.1;
}
printf("%.17f\n", sum);  // 可能不等于1.0

比较陷阱#

直接比较浮点数相等性是危险的，因为上述舍入误差的存在，导致两个在数学上相等的浮点数在计算机中具有不同的二进制表示：

// 错误的做法
if (a == b) { ... }

// 正确的做法
const double EPSILON = 1e-9;
if (fabs(a - b) < EPSILON) { ... }

TIP

在进行浮点数比较时，应该使用相对误差或绝对误差的方式，而不是直接使用 == 运算符。

硬件实现考虑#

浮点单元 (FPU)#

现代处理器通常包含专门的浮点运算单元(Floating Point Unit, FPU)来加速浮点运算：

流水线设计：多级流水线并行处理不同运算阶段
专用寄存器：独立的浮点寄存器文件
SIMD支持：单指令多数据并行处理

性能优化#

快速平方根倒数#

著名的Quake III快速平方根倒数算法利用了IEEE 754格式的特性：

float Q_rsqrt( float number )
{
        long i;
        float x2, y;
        const float threehalfs = 1.5F;
        x2 = number * 0.5F;
        y = number;
        i = * ( long * ) &y;                       // evil floating point bit level hacking
        i = 0x5f3759df - ( i >> 1 );               // what the fuck?
        y = * ( float * ) &i;
        y = y * ( threehalfs - ( x2 * y * y ) );   // 1st iteration
//      y = y * ( threehalfs - ( x2 * y * y ) );   // 2nd iteration, this can be removed
        return y;
}

这个算法通过位操作巧妙利用了浮点数的内部表示，实现了快速近似计算。

NOTE

牛顿迭代法是一种求方程近似解的方法，于 17 世纪由牛顿提出，是一种不断求更优近似解的方法，具体的细节可以在牛顿迭代法 - OI Wiki 查看。至于0x5f3759df是如何得出的，我们姑且在以后的文章中讨论。

小结#

本文深入探讨了IEEE 754浮点数标准的存储格式和运算原理。我们了解到：

浮点数是对实数的近似表示，在提供大范围数值表示能力的同时，也带来了精度限制和运算误差。理解浮点数的内部机制对于编写高质量的数值计算程序至关重要。

关键要点包括：

IEEE 754格式的三个组成部分：符号位、指数、尾数
单精度与双精度的差异和适用场景
特殊值(零、无穷、NaN)的表示和处理
浮点运算的复杂性和误差来源