Stay Connected

The easy way to lose weight
Posts for Weight Loss Tips & Tricks Category
Focal Loss 以及实现trick(附python实现代码)

Focal Loss 以及实现trick(附python实现代码)

For original article click here 引言在机器学习分类任务中,如果您有不平衡的训练集并将训练集直接应用于训练,虽然整体的准确率很好,但是对于少数派类别,由于在训练过程中起准确性可能会很差,因此它们的准确率可能很差。例如,在一个二元分类任务中,在训练集中有99个阴性样本和1个阳性样本,模型可能会尝试学习如何以极高的置信度正确地对99个阴性样本进行分类,但只有一个阳性样本不会再培训中心收到关注,因此很可能被错误分类,或者在更好的情况下以低置信度被正确分类。如果人们只关心阳性样本,即便获得了99%的整体准确率和100%阴性样本准确率,也很难容忍阳性样本分类的失败。解决此问题的一种普通方法是进行采样以平衡数据集。如果某些类别中的样本比较少,则可以抽样或者重复他们以使各个类别保持平衡。在目标检测任务中,不平衡训练集问题更为严重。给定图像,对象检测算法通常必须提出大量可能存在潜在对象的区域。在R-CNN和Fast R-CNN算法中,有意将区域的数量限制为数千个。在Faster R-CNN模型和其他具有CNN区域提议机制的模型中,提议的区域数量可能高达数十万。当然,建议的大多数区域是负面示例,其中内部没有对象。因此,此类不平衡问题绝对应该在对象检测中解决。在R-CNN和Fast R-CNN中, 由于模型不是端到端的,并且由几个不同的模型组成,因此可以通过对更多的次要样本进行采样或者一处主要的类样本来解决类不平衡问题。但是,据我所知的情况下,在端到端模型中,很难实现平雷类的采样。从数学上讲,采样等同于蒋全忠添加到样本中。例如,在某些电视艺术比赛中,专业评委和所有观众投票决定哪个参赛者是获胜者。因为观众的数量比专业评委的数量大得多,所以我们应该为专业评委分配更多的权重,一反应他们对艺术的专业判断。专业评委的一票可能等于普通观众的一千票。Facebook AI 研究院师徒以类似方式类失衡问题。理论Cross Entropy Loss 通常,我们使用sigmoid函数进行二进制分类,并使用Softmax函数进行多类别分类,以计算样本为特定类别的概率。无论是二分类还是多类别分类,所使用的损失函数通常是交叉熵损失函数。cross entropy loss 的离散形式的数学表达式为:其中 是所有可能的离散分布bin的数量, 是分布 中位于 中的概率, 是分布 中位于 中的概率。请注意cross entropy是不对称的,即 。当Cross Entropy在分类问题中用作损失函数是, 必须是样本属于 类的真实概率,而 必须是根据神经网络推断出样本属于$i$类的概率, 中只有一个为1,其他均为0.由于sigmoid或softmax函数的性质,所有 都不为0,因此我们无法执行 。不难发现,我们通常在二分类中使用的对数损失实际上是cross entropy loss的一种特殊情况,其中类别数 :上式,可以等价于下面的表达式:更具体一点,可以令 ,其中Focal Loss 对于正负样本不平衡时,可以在cross entropy loss前面加上一个参数 ,即:但是这个不能解决所有问题,因为根据正负难易,样本一共可以分为以下四类: 虽然 平衡了正负样本,但对难易样本的不平衡没有任何帮助。其中易分样本(即,置信度高的样本)对模型的提升效果非常小,模型应该主要关注于那些难分样本。Focal Loss基于这样的问题,利用将高置信度( 比较高的)样本损失降低即可:再与解决正负样本不平衡方法相结合,可以得到Focal Loss的最终形式如下:实验表明​ 取2, ​取0.25的时候效果最佳。 初始化技巧trick由于网络的初始化一般使用的是正态分布,其中心一般是在0.5,那么对于正例和反例均是同样的表现,可能不利于更好地找到最优解。那么就将最后一层的偏置设为:其中 is set to 0.01…...
Drinking Baking Soda for Weight Loss: Does It Work?

Drinking Baking Soda for Weight Loss: Does It Work?

For original article click here Baking soda is known for its wide array of uses, from deodorizing your refrigerator to whitening your teeth. Weight...
15 of the Best Fruits for Weight Loss and How to Enjoy Them Daily

15 of the Best Fruits for Weight Loss and How to Enjoy Them Daily

For original article click here When it comes to losing weight, there isn’t just one go-to trick to get the body you’re hoping for....
Weight Loss Guide : Definition, Causes, Weight Loss Meal Plan, Weight Loss Program, Weight Loss Exercises, Weight Loss Drinks, Weight Loss Foods, Weight Loss Medication

Weight Loss Guide : Definition, Causes, Weight Loss Meal Plan, Weight Loss Program, Weight Loss Exercises, Weight Loss Drinks, Weight Loss Foods, Weight Loss Medication

For original article click here Weight Loss Guide : Definition, Causes, weight loss meal plan, weight loss program, weight loss exercises, weight loss drinks,...
Exercise for Weight Loss – Weight Watchers Points, Tips, calculators, and more

Exercise for Weight Loss – Weight Watchers Points, Tips, calculators, and more

For original article click here Welcome! to Exercise 4 Weight Loss where you can find the recipes, explore restaurants, read helpful articles and more.You...

7-day weight loss diet plan under 1200 calories

For original article click here 7-day weight loss diet plan under 1200 calories | Times of India ​Weight loss planTrying to lose weight? Try...
Fast Weight Loss for Women Over 40: How to Do It Right

Fast Weight Loss for Women Over 40: How to Do It Right

For original article click here This post may contain affiliate links, which helps keep this content free. Please read our disclosure for more info....
7 Easy Juice Recipes for Weight Loss

7 Easy Juice Recipes for Weight Loss

For original article click here Juicing gives us the opportunity to increase our daily fruit and vegetable intake, boost our vitamin levels, support our...
How to Lose Weight – Top 18 Simple Tips – Diet Doctor

How to Lose Weight – Top 18 Simple Tips – Diet Doctor

For original article click here Diet When to eat Real food When not to eat Measure Persistence Fruit Beer Non-caloric sweeteners Medications Stress &...
Carnivore Diet Weight Loss (2022 Update) 7 Important Tips

Carnivore Diet Weight Loss (2022 Update) 7 Important Tips

For original article click here Yes, the amount of calories you eat does matter on the carnivore diet.However, you don’t need to be calorie...

Stay Connected

×