●
新的Reconstruction SVD算法——使用SVD来估算丢失的数据，比mean imputation方法好约30%
稀疏矩阵运算速度提高50％——并行化
● RandomizedSVD，速度加快20%~30%
● New Incremental SVD和Incremental Eig，RandomizedSVD / Truncated SVD
● 等等
项目地址：
https://github.com/danielhanchen/hyperlearn
并且，作者写了一本电子书：Modern Big Data Algorithms，介绍了12个新算法以及一些更新的算法：
红色：新算法；绿色：更新的算法；蓝色：即将发布
让我们先大致看一下“奇异值分解”（SVD）这一章，这是最重要的算法之一。SVD将PCA、线性回归、岭回归、QDA、LDA、LSI、推荐系统、压缩算法、L2 distance等多种算法联系在一起，可以说是机器学习中最重要的算法了。
提速50%+，RAM使用减少50%+
提速50%+，RAM使用减少50%+，GPU支持的重写Sklearn，使用Statsmodels组合新的算法。
HyperLearn完全用PyTorch, NoGil Numba, Numpy, panda, Scipy 和 LAPACK编写，镜像主要是Scikit Learn。HyperLearn还嵌入了统计推断方法，可以被想Scikit Learn语法(model.confidence_interval_)一样调用。
速度/内存的比较
时间表示Fit + Predict的时间。RAM(mb) = max( RAM(Fit), RAM(Predict) )
以下是N = 5000，P = 6000时的初步结果：
关键方法和目标
● 令人尴尬的并行循环
● 速度提升50％+，精简50％+
● 为什么Statsmodels有时会慢得让人无法忍受？
● 使用PyTorch的深度学习模块
● 代码量减少20％+，更清晰的代码
● 访问旧算法和令人兴奋的新算法
1. 令人尴尬的并行循环
● 包括内存共享，内存管理
● 通过PyTorch和Numba的CUDA并行性
2. 50%+ Faster, 50%+ Leaner
● 矩阵乘法排序：
https://en.wikipedia.org/wiki/Matrix_chain_multiplication
● Element Wise矩阵乘法将复杂度从O(n^3)降低到O(n^2)：
https://en.wikipedia.org/wiki/Hadamard_product_(matrices)
● 将矩阵运算简化为Einstein Notation：
https://en.wikipedia.org/wiki/Einstein_notation
● 连续评估一次性矩阵操作以减少RAM开销。
● 如果p >> n，则可能分解X.T优于分解X.
● 在某些情况下，应用QR分解SVD可能会更快。
● 利用矩阵的结构来计算更快（例如三角矩阵，Hermitian矩阵）。
● 计算 SVD(X)，然后获得pinv(X) ，有时比单纯计算pinv(X)更快
3. 为什么Statsmodels有时会慢得让人无法忍受?
● 对线性模型的置信度、预测区间，假设检验和拟合优度检验进行了优化。
● 尽可能使用 Einstein Notation和Hadamard Products。
● 仅计算需要计算的内容（计算矩阵对角线，而不是整个矩阵）。
● 修复Statsmodels在符号、速度、内存方面的问题和变量存储上的缺陷。
4. 使用PyTorch的深度学习模块
● 使用PyTorch创建Scikit-Learn
5. 代码量减少20％+，更清晰的代码
● 尽可能使用 Decorators和Functions。
● 直观的中层函数名称，如（isTensor，isIterable）。
● 通过hyperlearn.multiprocessing轻松处理并行
6. 访问旧算法和令人兴奋的新算法
● 矩阵补全算法——非负最小二乘法，NNMF
● 批相似性隐含狄利克雷分布（BS-LDA）
● 相关回归（Correlation Regression）
● 可行的广义最小二乘法FGLS
● Outlier Tolerant Regression
● 多维样条回归（Multidimensional Spline Regression）
● 广义MICE
● 使用Uber的Pyro进行贝叶斯深度学习
原文发布时间为：2018-11-19
本文作者：Daniel Han-Chen
本文来自云栖社区合作伙伴新智元，了解相关信息可以关注“AI_era”。
原文链接：
基于PyTorch重写sklearn，《现代大数据算法》
