损失函数和激活函数都是神经网络中的核心组件，对于不同的任务和数据集，选择合适的损失函数和激活函数是非常重要的。
在实践中，损失函数和激活函数可以根据问题的特性和实验结果进行选择和调整。比如：
1. 对于分类问题，常用的损失函数有交叉熵（Cross Entropy）、多类别交叉熵（Categorical Cross Entropy）、二元交叉熵（Binary Cross Entropy）等，可以根据类别数和标签类型进行选择；
2. 对于回归问题，常用的损失函数有均方差（Mean Squared Error）、平均绝对误差（Mean Absolute Error）等，可以根据目标输出的分布情况进行选择；
3. 对于图像分割问题，常用的损失函数有Dice Loss、Jaccard Loss、交叉熵损失（Cross Entropy Loss）等，可以根据输出像素的数量和位置等因素进行选择。
激活函数也是很灵活的，通常可以根据实验结果来选择。例如：
1. Sigmoid激活函数具有挤压函数的性质，将任意值映射到0-1之间，适用于二分类等输出问题；
2. Tanh激活函数可以将任意值映射到-1和1之间，可以应用于二分类或多分类问题，和ReLU激活函数相比性能会更好；
3. ReLU激活函数在深度学习领域中应用广泛，虽然简单但表现出良好的强大性能，可以缓解梯度消失现象，可以在大多数情况下使用；
4. Leaky ReLU可以缓解ReLU中存在的神经元死亡问题，并避免出现稀疏梯度问题。
因此，在选择损失函数和激活函数时，需要结合具体问题和实验结果进行选择和调整，以获得更好的性能表现。