干货—【基础】常用的机器学习数据挖掘知识点

【基础】常用的机器学习&数据挖掘知识点Basis(基础)：MSE(MeanSquareError均方误差)，LMS(LeastMeanSquare最小均方)，LSM(LeastSquareMethods最小二乘法)，MLE(MaximumLikelihoodEstimation最大似然估计)，QP(QuadraticProgramming二次规划)，CP(ConditionalProbability条件概率)，JP(JointProbability联合概率)，MP(MarginalProbability边缘概率)，BayesianFormula(贝叶斯公式)，L1/L2Regularization(L1/L2正则，以及更多的，现在比较火的L2.5正则等)，GD(GradientDescent梯度下降)，SGD(StochasticGradientDescent随机梯度下降)，Eigenvalue(特征值)，Eigenvector(特征向量)，QR-decomposition(QR分解)，Quantile(分位数)，Covariance(协方差矩阵)。CommonDistribution(常见分布)：DiscreteDistribution(离散型分布)：BernoulliDistribution/Binomial(贝努利分布/二项分布)，NegativeBinomialDistribution(负二项分布)，MultinomialDistribution(多项式分布)，GeometricDistribution(几何分布)，HypergeometricDistribution(超几何分布)，PoissonDistribution(泊松分布)ContinuousDistribution(连续型分布)：UniformDistribution(均匀分布)，NormalDistribution/GuassianDistribution(正态分布/高斯分布)，ExponentialDistribution(指数分布)，LognormalDistribution(对数正态分布)，GammaDistribution(Gamma分布)，BetaDistribution(Beta分布)，DirichletDistribution(狄利克雷分布)，RayleighDistribution(瑞利分布)，CauchyDistribution(柯西分布)，WeibullDistribution(韦伯分布)ThreeSamplingDistribution(三大抽样分布)：Chi-squareDistribution(卡方分布)，t-distribution(t-distribution)，F-distribution(F-分布)DataPre-processing(数据预处理)：MissingValueImputation(缺失值填充)，Discretization(离散化)，Mapping(映射)，Normalization(归一化/标准化)。Sampling(采样)：SimpleRandomSampling(简单随机采样)，OfflineSampling(离线等可能K采样)，OnlineSampling(在线等可能K采样)，Ratio-basedSampling(等比例随机采样)，Acceptance-RejectionSampling(接受-拒绝采样)，ImportanceSampling(重要性采样)，MCMC(MarkovChainMonteCarlo马尔科夫蒙特卡罗采样算法：Metropolis-Hasting&Gibbs)。Clustering(聚类)：K-Means，K-Mediods，二分K-Means，FK-Means，Canopy，Spectral-KMeans(谱聚类)，GMM-EM(混合高斯模型-期望最大化算法解决)，K-Pototypes，CLARANS(基于划分)，BIRCH(基于层次)，CURE(基于层次)，DBSCAN(基于密度)，CLIQUE(基于密度和基于网格)Classification&Regression(分类&回归)：LR(LinearRegression线性回归)，LR(LogisticRegression逻辑回归)，SR(SoftmaxRegression多分类逻辑回归)，GLM(GeneralizedLinearModel广义线性模型)，RR(RidgeRegression岭回归/L2正则最小二乘回归)，LASSO(LeastAbsoluteShrinkageandSelectionatorOperatorL1正则最小二乘回归)，RF(随机森林)，DT(DecisionTree决策树)，GBDT(GradientBoostingDecisionTree梯度下降决策树)，CART(ClassificationAndRegressionTree分类回归树)，KNN(K-NearestNeighborK近邻)，SVM(SupportVectorMachine)，KF(KernelFunction核函数PolynomialKernelFunction多项式核函数、GuassianKernelFunction高斯核函数/RadialBasisFunctionRBF径向基函数、StringKernelFunction字符串核函数)、NB(NaiveBayes朴素贝叶斯)，BN(BayesianNetwork/BayesianBeliefNetwork/BeliefNetwork贝叶斯网络/贝叶斯信度网络/信念网络)，LDA(LinearDiscriminantAnalysis/FisherLinearDiscriminant线性判别分析/Fisher线性判别)，EL(EnsembleLearning集成学习Boosting，Bagging，Stacking)，AdaBoost(AdaptiveBoosting自适应增强)，MEM(MaximumEntropyModel最大熵模型)EffectivenessEvaluation(分类效果评估)：ConfusionMatrix(混淆矩阵)，Precision(精确度)，Recall(召回率)，Accuracy(准确率)，F-score(F得分)，ROCCurve(ROC曲线)，AUC(AUC面积)，LiftCurve(Lift曲线)，KSCurve(KS曲线)。PGM(ProbabilisticGraphicalModels概率图模型)：BN(BayesianNetwork/BayesianBeliefNetwork/BeliefNetwork贝叶斯网络/贝叶斯信度网络/信念网络)，MC(MarkovChain马尔科夫链)，HMM(HiddenMarkovModel马尔科夫模型)，MEMM(MaximumEntropyMarkovModel最大熵马尔科夫模型)，CRF(ConditionalRandomField条件随机场)，MRF(MarkovRandomField马尔科夫随机场)。NN(NeuralNetwork神经网络)：ANN(ArtificialNeuralNetwork人工神经网络)，BP(ErrorBackPropagation误差反向传播)DeepLearning(深度学习)：Auto-encoder(自动编码器)，SAE(StackedAuto-encoders堆叠自动编码器：SparseAuto-encoders稀疏自动编码器、DenoisingAuto-encoders去噪自动编码器、ContractiveAuto-encoders收缩自动编码器)，RBM(RestrictedBoltzmannMachine受限玻尔兹曼机)，DBN(DeepBeliefNetwork深度信念网络)，CNN(ConvolutionalNeuralNetwork卷积神经网络)，Word2Vec(词向量学习模型)。DimensionalityReduction(降维)：LDALinearDiscriminantAnalysis/FisherLinearDiscriminant线性判别分析/Fisher线性判别，PCA(PrincipalComponentAnalysis主成分分析)，ICA(IndependentComponentAnalysis独立成分分析)，SVD(SingularValueDecomposition奇异值分解)，FA(FactorAnalysis因子分析法)。TextMining(文本挖掘)：VSM(VectorSpaceModel向量空间模型)，Word2Vec(词向量学习模型)，TF(TermFrequency词频)，TF-IDF(TermFrequency-InverseDocumentFrequency词频-逆向文档频率)，MI(MutualInformation互信息)，ECE(ExpectedCrossEntropy期望交叉熵)，QEMI(二次信息熵)，IG(InformationGain信息增益)，IGR(InformationGainRatio信息增益率)，Gini(基尼系数)，x2Statistic(x2统计量)，TEW(TextEvidenceWeight文本证据权)，OR(OddsRatio优势率)，N-GramModel，LSA(LatentSemanticAnalysis潜在语义分析)，PLSA(ProbabilisticLatentSemanticAnalysis基于概率的潜在语义分析)，LDA(LatentDirichletAllocation潜在狄利克雷模型)AssociationMining(关联挖掘)：Apriori，FP-growth(FrequencyPatternTreeGrowth频繁模式树生长算法)，AprioriAll，Spade。RecommendationEngine(推荐引擎)：DBR(Demographic-basedRecommendation基于人口统计学的推荐)，CBR(Context-basedRecommendation基于内容的推荐)，CF(CollaborativeFiltering协同过滤)，UCF(User-basedCollaborativeFilteringRecommendation基于用户的协同过滤推荐)，ICF(Item-basedCollaborativeFilteringRecommendation基于项目的协同过滤推荐)。SimilarityMeasure&DistanceMeasure(相似性与距离度量)：EuclideanDistance(欧式距离)，ManhattanDistance(曼哈顿距离)，ChebyshevDistance(切比雪夫距离)，MinkowskiDistance(闵可夫斯基距离)，StandardizedEuclideanDistance(标准化欧氏距离)，MahalanobisDistance(马氏距离)，Cos(Cosine余弦)，HammingDistance/EditDistance(汉明距离/编辑距离)，JaccardDistance(杰卡德距离)，CorrelationCoefficientDistance(相关系数距离)，InformationEntropy(信息熵)，KL(Kullback-LeiblerDivergenceKL散度/RelativeEntropy相对熵)。Optimization(最优化)：Non-constrainedOptimization(无约束优化)：CyclicVariableMethods(变量轮换法)，PatternSearchMethods(模式搜索法)，VariableSimplexMethods(可变单纯形法)，GradientDescentMethods(梯