在热工领域，熵是衡量体系混乱度的参数。越混乱，熵越大，反之则熵越小。
信息熵则应该是借鉴了熵的定义，用于去衡量一个事件所携带的信息的混乱性。实质就是根据一个事件发生的概率来衡量对该事件背后信息的揭示程度。例如，当发生概率为1时（认定事件百分之百发生），那么无论重复多少次该事件，该事件都会发生，那么可以认定我们对该事件背后隐藏的信息已经了如指掌，即该事件的信息熵为0（事件背后的信息很清晰，一点都不混乱）。 当该事件概率为0时（认定事件几乎不发生），那么无论重复多少次该事件，该事件背后隐藏的信息我们始终无法窥探，即该事件的信息熵为∞（事件背后的信息太混乱，我们无法窥探）。
因此这就是我们为什么使用信息熵来作为logistic模型的Cost Funciton，并且不断的减少 Cost Funciton使其为0. 本质就在于希望我们的模型可以获得整个数据背后所隐含的信息。
信息熵的数学表达式：
P（x）—— 一个事件发生的概率
H（X）—— 该事件发生概率对应的信息熵