lotus script中两个数值相等的Double类型的数值用 x = y 的形式比较得出false的问题

Sub Initialize
	Dim a As Double
	a = 150000
	Dim b(4) As Double
	b(0) = 45833.33
	b(1) = 50000
	b(2) = 50000
	b(3) = 4166.67
	Dim j As Integer
	Dim totalb As Double
	For j = 0 To UBound(b)
		totalb = totalb + b(j)
	Next
	
	MsgBox "a:" & a
	MsgBox "totalb:" & totalb
	MsgBox "是否相等:" & CStr(totalb = a)
	
End Sub

就是上面这段代码,a和totalb的值都是15000,但是 totalb = a返回的值却是false,IBM给出的解释是:

 对于Integer的两个整数A,B可以直接通过A<>B判断
但是对于Double、Single、Float、Decimal等浮点数A,B
不能这样直接比较,可以通过间接进行判断
math.abs(A-B)<0.00000001(可以设置为任何一个比较小的数值,也就是说如果两个数的差如果足够小的话则我们近似地认为它们相等) 


        个人以为,IBM之所以这样处理,是因为直接赋值和相加赋值的方式导致了两个数精度的不同,在内存中两个值存的有差异造成的,相加得出的值略大于直接赋值的值。

        我个人对于处理两个值比较的问题,倾向于使用转换为字符串之后判断两个字符串是否相同来进行判断。上面的例子中,就可以用下面的方法来实现:

CStr(totalb)=CStr(a)
CStr方法会将数值末尾多余的0直接去除掉,因此可以不用担心小数位数的影响。得出两个数值是否相等结果后,就可以进行接下来的操作了。




猜你喜欢

转载自blog.csdn.net/u012159933/article/details/81000508
今日推荐