【最优传输二十二】MOST: Multi-Source Domain Adaptation via Optimal Transportfor Student-Teacher Learning

2023-11-22 22:40:23

1.motivation

由于知识从多个源域转移到目标域，多源域自适应比传统的数据分析更具挑战性。为此，作者在真实世界的数据集上进行了全面的实验，以证明本文方法及其基于最优运输的模仿学习观点的优点。实验结果表明，提出的方法在包括digits - 5、Office-Caltech10和Office-31在内的多源域自适应基准数据集上达到了所知的最先进的性能。

受模仿学习原理的启发，本文提出了一种基于最优传输和模仿学习理论的多源数据挖掘模型。本文方法由两个合作代理组成:教师分类器和学生分类器。教师分类器是一个综合专家，它利用领域专家的知识，理论上可以保证完美地处理源示例，而作用于目标领域的学生分类器试图模仿作用于源领域的教师分类器。基于最优传输的严谨理论使这种跨域模仿成为可能，并且有助于减轻数据迁移和标签迁移，这是数据分析研究中固有的棘手问题。在MSDA背景下应用师生机制时，寻求两个自然提出的问题的解决方案:1)如何确定教师 ii)学生模仿老师的原则和机制是什么? 本文基于最优运输的文献，通过开发一个严格而直观的理论来解决这两个问题。这项工作中的贡献总结如下:

提出了一个严格的基于ot的理论来利用模仿学习进行领域适应。
在模仿学习的视角下，本文提出了一种新的MSDA模型，该模型利用了两个合作主体:教师和学生。MOST的实现也可以在线获得。
在包括digits - 5、Office-Caltech10和Office31在内的多源域自适应基准数据集上进行了全面的实验。实验结果表明，本文的MOST在这些基准数据集上达到了我们所知的最先进的性能。

2.Background

2.1 Optimal transport

在一些温和的条件下，如Santambrogio[2015]中的定理1.32和1.33所述，Kantorovich problem (KP)与Monge problem (MP)相同，为了方便起见，我们将Md和Kd统称为Wd，即Wd (Q, P) = Kd (Q, P) = Md (Q, P)。

此外，在一些温和的条件下，如Villani[2008]的定理5.10所述，可以用其对应的对偶形式代替原始形式

其中 $L_{1}(\Omega ,\mathbb{P}):= \left \{ \psi :\int _{\Omega }\left | \psi (y) \right | d\mathbb{P}(y)< \infty \right \}$ 并且 $\phi ^{c}$ 是函数 $\phi$ 的c变换，定义为 $\phi ^{c}(x):= min_{y}\left \{ d(x,y)-\phi (y) \right \}$ 。

最优运输的聚类观点。这种最优运输的观点已被用于研究一类丰富的分层和多层聚类问题。提出了最优运输的聚类观点，这有助于解释本文在续集中开发的方法。设P和Q是两个离散分布，定义为

其中δx表示以x为中心的狄拉克测度。在不丧失一般性的情况下，可以假设n≤m，并将Wasserstein距离Wd (P, Q) w.r.t.视为度量d。以下定理表征了OT的聚类观点。

定理1。考虑以下优化问题: $\min _{v_{1:n}}W_{d}(\mathbb{P},\mathbb{Q})$ 。设 ${v^{\ast }_{1:n}}$ , $\mathbb{Q}^{\ast }:= \frac{1}{n}\sum_{j=1}^{n}\delta _{v_{j}^{\ast }}$ 为其最优解，T∗为最优运输映射，为

进一步，设 ${c^{\ast }_{1:n}}$ 和σ *表示以下聚类问题的最优解:

式中Π (m, n)是从{1，…， m}到{1，…n}满射映射集合。然后我们有 ${c^{\ast }_{1:n}}={v^{\ast }_{1:n}}$ 和 $T^{\ast }(u_{i})={v^{\ast }_{\sigma ^{\ast }(i)}}$ 。

上述定理表明，如果我们学习Q的原子以最小化Wd (P, Q) w.r.t.度规d，那么Q的最佳原子将成为由P原子形成的簇的质心，或者Q的原子正在移动以寻找P的原子群，目的是最小化w.r.t.度规d的畸变。

2.2熵正则对偶性

为了实现最优传输在机器学习和深度学习中的应用，Genevay等人在Genevay等人[2016]中开发了一种熵正则对偶形式。首先，他们提出在Kantorovich problem (KP)中的原始形式中加入一个熵正则化项。

其中 $\epsilon$ 为正则化率，DKL(·||·)为KL散度，Q⊗P表示Q和P独立的特定耦合。 $\epsilon$ →0,时， $W_{d}^{\epsilon }(\mathbb{Q},\mathbb{P})$ 逼近 $W_{d}(\mathbb{Q},\mathbb{P})$ ，(3)的最优运输计划 $\gamma _{\epsilon }^{\ast }$ 也弱收敛于(1)的最优运输计划γ *。在实践中，我们设置(3)中 $\epsilon$ 是一个小的正数，因此 $\gamma _{\epsilon }^{\ast }$ 非常接近γ *。

其次，利用fenchell - rockafellar定理，得到了势 $\phi$ 的对偶形式

3.理论的发展

3.1 Priliminaries

我们首先考察一般的监督学习设置。考虑假设类H中的假设h和标记函数f(即f(·)∈ $Y_{\bigtriangleup }$ , h(·)∈ $Y_{\bigtriangleup }$ ，其中 $Y_{\bigtriangleup }:= \left \{ \pi \in \mathbb{R}^{M}:\left \| \pi \right \|_{1} and \pi \geq 0\right \}$ ，类的个数M，设dy是度量或 $Y_{\bigtriangleup }$ 的散度。我们进一步定义假设h w.r.t.的一般损失，数据分布P和标记函数f为:

通过将度量或散度dY定义为 $d_{Y}(h(x),f(x)):= \sum_{i=1}^{M}f_{i}(x)D_{KL}(1_{i}||h(x))$ ，其中1i是一个one-hot向量，可以恢复深度学习中广泛使用的交叉熵损失。

接下来，考虑一个领域自适应设置，其中我们有一个具有分布PS的源空间X S和一个具有分布PT的目标空间X T。给定两对 $z_{1}=(x_{1},y_{1}^{\bigtriangleup })\in X^{S}\times Y_{\bigtriangleup }$ 和 $z_{2}=(x_{2},y_{2}^{\bigtriangleup })\in X^{T}\times Y_{\bigtriangleup }$ ，我们定义它们之间的代价(距离)函数为:

3.2 基于模仿学习的最优运输

提出了基于OT的模仿学习为提出的MOST奠定了基础。考虑两个数据域 $X^{A}$ 和 $X^{B}$ ，分别具有两个数据分布 $\mathbb{P}^{A}$ 和 $\mathbb{P}^{B}$ ，并假设 $h^{A}:X^{A}\rightarrow Y_{\bigtriangleup }$ 是一个合格的标记函数(分类器)，它对从 $\mathbb{P}^{A}$ 中采样的 $X^{A}$ 上的数据实例给出了准确的预测。我们希望学习一个标记函数(分类器) $h^{B}$ ，通过模仿 $h^{A}$ 在 $(X^{A},\mathbb{P}^{A})$ 上所做的事情来准确预测从 $\mathbb{P}^{B}$ 中采样的数据实例。基于数据分布 $\mathbb{P}^{A}$ 和标记函数 $h^{A}$ ，我们在 $X^{A}\times Y_{\bigtriangleup }$ 上定义了一个分布 $\mathbb{P}_{A,h^{A}}$ ，包括样本对 $(x,h^{A}(x))$ 首先通过采样x ~ $\mathbb{P}^{A}$ ，然后计算 $h^{A}$ (x)。类似地，我们可以使用数据分布 $\mathbb{P}^{B}$ 和标记函数 $h^{B}$ 在 $X^{B}\times Y_{\bigtriangleup }$ 上定义另一个分布 $\mathbb{P}_{B,h^{B}}$ 。为了使 $h^{B}$ 能够模仿 $h^{A}$ 的行为，我们建议检查 $\mathbb{P}_{A,h^{A}}$ 和 $\mathbb{P}_{B,h^{B}}$ w.r.t.之间的Wasserstein距离(WS)，即(5)中定义的代价(度量)函数d。以下命题对于我们推导基于ot的模仿学习的基本机制至关重要。

命题2。WS距离 $W_{d}(\mathbb{P}_{A,h^{A}},\mathbb{P}_{B,h^{B}})$ 可以表示为:

如命题2所示，最佳运输H∗:H∗#PB = PA是将PB移动到PA的最佳移动器，以最小化hB对x ~ PB和hA对H∗(x) ~ PA的预测差异。换句话说，给定x ~ PB，最佳输运H∗在x A(即H∗(x))的空间中找到最接近的对应项，以便hB可以方便地模仿hA在H∗(x)上的预测来预测x(见图1)。

为了进一步阐述所提出的基于ot的模仿学习，我们假设 $f^{A}$ 是域 $(X^{A},\mathbb{P}^{A})$ 上的真实标签函数，并从理论上证明如果最小化Wasserstein距离 $W_{d}(\mathbb{P}_{A,h^{A}},\mathbb{P}_{A,f^{A}})$ ，可以得到 $h_{\ast }^{A}=f^{A}$ 的最优解，并且Wasserstein距离的上界可以通过 $(X^{A},\mathbb{P}^{A})$ 上的 $h^{A}$ 总损失来获得(定理3中的表述(iii))

定理3。下列陈述成立

4. Method

4.1问题表述

在多源域自适应中，我们有K个源域包含收集到的数据和标签，以及只有收集到的数据的单个目标域。我们希望将在标记的源域上学习到的模型转移到未标记的目标域。让我们用 $D_{k}^{S}=\left \{ (sx_{i}^{k},y_{i}^{k}) \right \}_{i=1}^{N_{k}^{S}}$ 来表示收集到的数据和源域的标签，其中k为源域的索引，标签yki∈{1,2，…， M}，目标域不带标签的数据 $D^{T}=\left \{ tx_{i} \right \}_{i=1}^{N^{T}}$ 。

为了简化，我们用 $X^{S}$ 表示源域的公共空间。如果源域有不同的输入空间，我们可以调整输入图像的大小，或者使用适当的转换将它们映射到公共空间。我们进一步为源域配备数据分布 $\mathbb{P}_{1:K}^{S}$ ，其密度函数为 $p_{1:K}^{S}(x)$ 。用 $f_{1:K}^{S}(\cdot )\in Y_{\bigtriangleup }$ 表示源域的真值标记函数，这意味着 $p_{k}^{S}(y|x)=f_{k}^{S}(x,y)$ (即 $f_{k}^{S}(x,y)$ 表示 $f_{k}^{S}(x)$ 的第y个值)。因此，生成数据实例x和分类标签y∈{1，…， M} 联合分布为 $p_{k}^{S}(x,y)=p_{k}^{S}(x)f_{k}^{S}(x,y)$ 。

对于目标域，将其数据空间定义为 $X^{T}$ ，数据分布和密度函数分别定义为 $\mathbb{P}^{T}$ 和 $p^{T}(x)$ 。进一步用 $f^{T}$ 定义了目标域的基真标记函数，这意味着对于一个分类标签y∈{1，…, M}， $p^{T}(y|x)=f^{T}(x,y)$ 。

给定离散分布π 在{1，…， K}上，我们定义 $\mathbb{P}_{\pi }^{S}:= \sum_{k=1}^{K}\pi _{k}\mathbb{P}_{k}^{S}$ ，它是 $\mathbb{P}_{1:K}^{S}$ 的混合物。对于数据实例x ~ $\mathbb{P}_{\pi }^{S}$ 即，我们对隐藏索引 $t\sim Cat(\pi )$ (即分类分布)进行采样，然后对x ~ $\mathbb{P}_{t }^{S}$ 进行采样)，我们进一步将 $f^{S}$ 定义为一个标记函数，使得 $f^{S}(x)$ 与 $f_{t}^{S}(x)$ 相同。通过这个定义， $f^{S}$ 可以被视为混合分布 $\mathbb{P}_{\pi }^{S}$ 上的基真标记函数。最后，混合比例π可以均匀分布[1/K，…， 1/K]或与源域的训练样例数量成正比(即 $N_{1:K}^{S}$ 。值得注意的是，混合比例π会影响小批量中来自单个数据源的样本比例。我们进行了一项消融研究来比较上述两种π选项，并观察到它们在预测性能方面具有可比性。

4.2 Multi-Source Expert Teacher

使用标记的源训练集 $D_{1:K}^{S}$ ，可以训练出具有良好泛化能力的合格领域专家分类器 $h_{1:K}^{S}$ (即 $h_{k}^{S}(x)\in Y_{\bigtriangleup }$ 表示 $h_{k}^{S}$ 对第K个源域中数据实例x的预测概率)(例如 $L(h_{k}^{S},f_{k}^{S},\mathbb{P}_{k}^{S}\leq \epsilon )$ ,对于一些小的 $\epsilon$ > 0)。下一个问题是如何将这些领域专家结合起来，以实现能够在 $\mathbb{P}_{\pi }^{S}$ 上很好地工作的多源专家教师 $h^{S}$ (即 $L(h^{S},f^{S},\mathbb{P}_{\pi }^{S}\leq \epsilon )$ )为此，利用Mansour等人[2009]、Hoffman等人[2018]中的加权集成策略来实现

式中y∈{1,2，…， M}， $h_{k}^{S}(x,y)$ 和 $h^{S}(x,y)$ 分别表示 $h_{k}^{S}(x)$ 和 $h^{S}(x)$ 的第y个值。

以下定理表明，多源专家教师 $h^{S}$ 可以很好地处理混合联合分布 $\mathbb{P}_{\pi }^{S}$ 。更重要的是，它比源领域的最差领域专家工作得更好。因此，如果每个领域专家都是一个合格的分类器(即， $L(h_{k}^{S},f_{k}^{S},\mathbb{P}_{k}^{S}\leq \epsilon )$ )，多源专家教师 $h^{S}$ 也是一个合格的分类器(即 $L(h^{S},f^{S},\mathbb{P}_{\pi }^{S}\leq \epsilon )$ )

定理4。若dY可以分解为 $d_{Y}(\alpha ,\beta ):= \sum_{i=1}^{M}\beta _{i}\iota (\alpha _{i})$ ，其中α， β∈Y∆，and $\iota$ 是一个凸函数，则下列表述成立:

接下来将介绍如何培养多源专家教师 $h^{S}$ 。训练 $h^{S}$ 的方法来自以下理论观察。假设我们有K个分布R1:K，密度函数r1:K (z)，我们形成一个数据实例z的联合分布D，标签t∈{1，…， K}通过采样一个索引t ~ Cat(π)，采样x ~ Rt，并从d中收集(z, t)作为样本。有了这个设置，我们有以下推论。

推论5。如果训练源域鉴别器C使用交叉熵损失(即CE(·，·))对联合分布D中的样本进行分类，则最优源域鉴别器C∗定义为

推论5提供了一种计算(6)中领域专家权重的方法，其中对于给定的y，分布 $p_{1:K}^{S}(x,y)$ 扮演r1:K (z)的角色，其中z = (x, y)。对于每个m∈{1，…， M}，我们对t ~ Cat (π)进行采样，然后从 $p_{t}^{S}(x,y=m)$ 中采样(x, y = M)，并训练源域判别器Cm (x, y = m)(即，仅考虑x具有y = M标签的(x, y))来区分(x, y = M)的源域t，最后使用Cm (x, y = m)来估计域专家的权重。为了方便训练源域鉴别器Cm，我们共享它们的参数，因此有一个唯一的C，它接收一对(x, y)并预测其源域t。因此，在实践中，得到(6)中的专家教师为 $h^{S}(x,y)=\sum_{k=1}^{K}C(x,y,k)h_{k}^{S}(x,y)$ 。

4.3 Target-Domain Imitating Student

受定理3中表述(ii)的启发，回想 $f^{T}$ 是基真标记函数， $h^{T}$ 是目标域上的分类器，我们提出在该域上学习 $h^{T}$ 以进一步最小化，目的是得到 $h^{T}$ = $f^{T}$ :

假设dY是Y∆上的度量，它与度量dX一起形成度量d(参见(5))，这意味着Wd (P·，·，P·，·)是一个固有度规。因此， $W_{d}(\mathbb{P}_{T,h^{T}},\mathbb{P}_{T,f^{T}})$

其中 $\mathbb{P}_{S,f^{S}}^{\pi }$ 是 $X^{S}\times Y_{\bigtriangleup }$ 上的联合分布，由X ~ $\mathbb{P}_{\pi }^{S}$ 和Y∆= $f^{S}(x)$ 的对(X, Y∆)组成， $h^{S}$ 是混合源域(即 $\mathbb{P}_{\pi }^{S}$ )上的分类器，而 $\mathbb{P}_{S,h^{S}}^{\pi }$ 的定义与 $\mathbb{P}_{S,f^{S}}^{\pi }$ 相似，将 $f^{S}$ 的作用改变为 $h^{S}$ 。得到不等式(1)是因为 $W_{d}(\mathbb{P}_{S,h^{S}},\mathbb{P}_{S,f^{S}})$ 的上界是 $L(h^{S},f^{S},\mathbb{P}_{\pi }^{S})$ (得益于定理3中的表述(iii))。

此外， $W_{d}(\mathbb{P}^{\pi }_{S,f^{S}},\mathbb{P}_{T,f^{T}})$ 是一个常数。因此，为了最小化式(7)中的上界，我们寻找一个分类器 $h^{S}$ ，它能很好地处理具有足够小的 $L(h^{S},f^{S},\mathbb{P}_{\pi }^{S})$ 的混合源域，同时鼓励 $h^{T}$ 通过最小化 $W_{d}(\mathbb{P}_{T,h^{T}},\mathbb{P}^{\pi }_{S,h^{S}})$ 。为此，采用4.2节所示的多源专家教师 $h^{S}$ ，只要能培养出好的领域专家 $h_{1:K}^{S}$ ，它就能很好地在 $\mathbb{P}_{\pi }^{S}$ 上运行，从而导致以下优化问题:

(8)中的优化问题符合模仿学习的背景，其中教师分类器 $h^{S}$ 在混合源域(即 $\mathbb{P}_{\pi }^{S}$ )上得到了有效的训练，学生分类器 $h^{T}$ 试图在目标域上模仿教师。具体地说，命题2意味着找到最优传输映射

$H^{\ast }:H^{\ast }$ # $\mathbb{P}^{T}$ = $\mathbb{P}_{\pi }^{S}$ ，因此对于任何x ~ $\mathbb{P}^{T}$ , $h^{T}(x)$ 应该模拟专家教师 $h^{S}$ 对 $H^{\ast }(x)\sim \mathbb{P}_{\pi }^{S}$ 的预测。这一观察结果构成了我们提出的MOST的基础。

命题2进一步说明，在将 $\mathbb{P}^{T}$ 传输到 $\mathbb{P}_{\pi }^{S}$ 的传输映射H中，需要寻找引起最小标签移位且使学生 $h^{T}$ 最容易模仿其老师 $h^{S}$ 的映射。受到定理3中表述(iv)的启发，其中 $\lambda W_{d_{X}}(\mathbb{P}^{S}_{\pi },\mathbb{P}^{T})$ 为 $W_{d}(\mathbb{P}^{\pi }_{S,h^{S}},\mathbb{P}_{T,h^{T}})$ 的下界(源混合分布与目标分布之间的差异差距)，为了减少数据移位，建议同时通过两个发生器GS和GT将 $(X^{S},\mathbb{P}^{S}_{\pi })$ 和 $(X^{T},\mathbb{P}^{T})$ 映射到一个公共联合空间，求解如下优化问题:

其中 $\mathbb{Q}_{T,h^{T}}$ 类似于 $\mathbb{P}_{T,h^{T}}$ ，但在联合空间上由 $(G^{T}(x),h^{T}G^{T}(x))$ 对于x ~ $\mathbb{P}^{T}$ 并且 $\mathbb{Q}^{\pi }_{S,h^{S}}$ 与 $\mathbb{P}^{\pi }_{S,h^{S}}$ 相似，但在联合空间上对于x ~ $\mathbb{P}_{\pi }^{S}$ 组成 $(G^{S}(x),h^{S}G^{S}(x))$ 对儿。 $h^{S}$ 和 $h_{1:K}^{S}$ 现在都作用于 $G^{S}(\cdot )$ 。

定理6。设 $h_{\ast }^{S}\circ G_{\ast }^{S}$ 为最优教师， $h_{\ast }^{T}$ ， $G_{\ast }^{T}$ 为(9)中最优问题的最优解。假设 $G^{T}$ , $h^{T}$ 属于具有无限容量的族(即，那些可以近似任何精度水平的连续函数，例如神经网络)，我们有（将 $f^{G}$ 定义为联合空间上的诱导标记函数使得 $f^{G}$ 预测G (x)就像f预测x一样）：

定理6中， $\mathbb{P}^{G^{T}}_{T,h^{T}}$ 是由 $(G^{T}(x),h^{T}G^{T}(x))$ 样本对组成的分布，其中x ~ $\mathbb{P}^{T}$ 并且其他类似分布定义相同。定理6表明，在生成器和联合空间的支持下，我们的MOST可以减轻数据并将移位标记为 $W_{d}(\mathbb{P}^{G_{\ast }^{S}}_{S,f^{S}_{\ast }},\mathbb{P}^{G_{\ast }^{T}}_{T,f^{T}_{\ast }})$ 是两个基真标记函数f S和f T在联合空间中的自然移位。

4.4 大多数的培训过程

4.4.1 Training Multi-Source Expert Teacher

为了求解多源专家教师 $h^{S}$ ，我们在标记训练集 $D_{1:K}^{S}$ 和源域鉴别器C上同时训练域专家 $h_{1:K}^{S}$ ，给出域专家的权值。基本上，我们最小化: $\sum_{k=1}^{K}L_{k}^{de}+L^{C}$ ，我们定义

4.4.2 Training Target-Domain Imitating Student

使用(4)中的熵正则对偶形式通过最小化 $W^{\epsilon }_{d}(\mathbb{Q}_{T,h^{T}},\mathbb{Q}^{\pi }_{S,h^{S}})$ ，得到优化问题如下:

WS距离项的聚类视图解释。

更具体地说，根据最优运输 $W^{\epsilon }_{d}(\mathbb{Q}_{T,h^{T}},\mathbb{Q}^{\pi }_{S,h^{S}})$ ，在最优解处，每个 $G^{T}(x^{T})$ 找到 $G^{S}(x^{S})$ (s)的一个簇来最小化失真的度量 $d(G^{T}(x^{T}),G^{S}(x^{S}))$ 定义为

这进一步表明 $G^{T}(x^{T})$ 应该靠近具有相同 $h^{S}$ 预测标签的 $G^{S}(x^{S})$ (s)簇，以模仿 $h^{S}$ 的预测(即 $\min d_{Y}(h^{T}G^{T}(x^{T}),h^{S}G^{S}(x^{S}))$ )。有助于缓解标签移位问题(参见图2)。

图2:左:我们提出的多源域自适应方法的总体结构。MOST由两个合作代理组成:一个专家教师 $h^{S}$ ，一个领域专家的加权组合，一个学生 $h^{T}$ ，试图通过基于ot的模仿学习来模仿老师的预测。右图:WS距离项的聚类视图解释。

老师 $h^{S}$ 还提供原样本和目标样本的伪标签供学生 $h^{T}$ 模仿，因此最小化:

虚拟对抗训练(vat)与最小化预测熵相结合，旨在确保聚类假设已成功应用于UDA。受这一成功的启发，我们建议尽量最小化:

4.4.3 Simultaneous Training of Student and Teacher

有两种情景来训练师生范式:(i)顺序训练和(ii)教师和学生的同时训练。正如消融研究(见第6.4.1节)所建议的，我们遵循教师和学生同时培训的策略，其中我们尽量最小化:

其中α、β、γ > 0为权衡参数。

损失Lws具有在φ上最大化的形式，并由神经网络参数化。在训练MOST时，我们为每个小批数据更新φ几次。由于包络定理的作用，项LW S(因此总损失L)平滑地减小(见图3)。最后，我们在图2中概述了我们的方法。

5. 结论

本文在模仿学习原理和最优传输理论的启发下，提出了基于最优传输的师生学习多源域自适应方法。通过严格的理论保证，引入了一个由教师和学生两个基本组成部分组成的模型，用于多源领域适应，实现跨领域模仿能力。综合实验表明，MOST方法在多个基准域自适应数据集上的性能优于最先进的方法。

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！

标签：技术

上一篇 > 什么是微纳辛钦定理_第10讲随机过程维纳辛钦、希氏变换、高斯白噪声.ppt
下一篇 > 仿射包(affine hull) 与凸包(convex hull)

Duilib中list控件支持ctrl和shif多行选中的实现

[ICML2015]Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shif

win10系统微软输入法于eclipse ctrl+shif+f冲突间接处理办法

Codeforces Round #259 (Div. 2) B. Little Pony and Sort by Shif

读LDD3，内存映射与DMA--PAGE_SHIF…

VMware虚拟机安装XP【要先分区，再设置BOOT 启动CD，shif+上移】

更换iBus五笔的左与右Shif

sublime ctrl+shif+f 没用解决办法

idea 对 ctrl + z 的撤销是 ctrl + shif + z

计算机最早的设计师应用于,计算机应用基础选择题doc.doc

win10自带截图神器：Win+Shift+S

Python基础之文件目录操作

python简述目录_Python基础之文件目录操作(示例代码)

tp5 如何做数据采集

任务2-7(服务器字体+阿里巴巴矢量库)

html标签（1)：h1~h6,p,br,pre,hr

TI 电量计介绍与芯片选型指南

几款TI电源芯片简介

TI DSP芯片C2000系列读取FLASH数据

德州仪器(Ti)平台嵌入式开发基础

TI三相电机智能栅极驱动芯片特点分类

省选模拟（12.08） T3 圈圈圈圈圈圈圈圈

Hadoop生态圈技术栈（上）

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之6.Impala交互式查询

小猿圈之Linux下Mysql 操作命令

大数据Hadoop生态圈常用面试题

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之4.Hive DDL、DQL和数据操作

备战Noip2018模拟赛11（B组）T3 Monogatari 物语

【智能优化算法-圆圈搜索算法】基于圆圈搜索算法Circle Search Algorithm求解单目标优化问题附matlab代码

NYOJ 78 圈水池

递归问题跑道汽车绕圈问题 Python实现

Hadoop生态圈（三）：MapReduce