焦点热议:五天学会Deep Learning

手机

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

焦点热议:五天学会Deep Learning

2023-04-17 17:52:58 来源：博客园

(相关资料图)

五天学完deep learning。。。。。。是时候来证明chatGPT和new bing的能力了。。。。。。

DAY1

Sigmoid function

Sigmoid 函数是一种常用的激活函数，它将输入值映射到 0 和 1 之间。它的公式为 f(x) = 1 / (1 + e^-x)。Sigmoid 函数的输出值具有平滑性，因此它在深度学习中常用于分类问题。

Softplus function

Softplus 函数是一种激活函数，它将输入值映射到正实数范围内。它的公式为 f(x) = ln(1 + e^x)。Softplus 函数的输出值具有平滑性，因此它在深度学习中常用于回归问题。

KL divergence

KL 散度（Kullback-Leibler divergence）是一种用于衡量两个概率分布之间差异的方法。它的定义为 D_KL(P||Q) = ∑_i P(i) * log(P(i)/Q(i))，其中 P 和 Q 是两个概率分布。KL 散度越大，说明两个概率分布之间的差异越大。举个例子，假设我们有两个概率分布 P 和 Q，其中 P = [0.5, 0.5]，Q = [0.9, 0.1]。那么，我们可以计算它们之间的 KL 散度为 D_KL(P||Q) = 0.5 * log(0.5/0.9) + 0.5 * log(0.5/0.1) ≈ 0.36。这意味着 P 和 Q 之间存在一定的差异。

关键词：