一种基于scikit-learn的大数据集热编码
我有一个大数据集，我计划对其进行逻辑回归。它有很多分类变量，每一个都有成千上万的特征，我计划在这些特征上使用一个热编码。我将需要处理小批量的数据。我的问题是如何确保一个热编码在第一次运行时看到每个分类变量的所有功能？
共有2个答案
您可以读取数据，并首先获得分类变量的所有唯一值的列表。然后，您可以在您的唯一值列表中匹配一个热编码器对象（如sklearn.preprocessing.类别编码器）。
这种方法有助于解决这一问题
- 列车测试框架
- 或者，当您以块的形式读取数据时
我已经创建了一个python模块，它可以自己完成所有这些工作。您可以在这个GitHub存储库中找到它-dummyPy
关于这个的简短教程-如何在Python中对大型数据集的分类变量进行热编码？
没有办法找出你的分类特征可以采用哪些可能的值，这可能意味着你必须彻底检查你的数据一次，以获得你的分类变量的唯一值列表。
在此之后，需要将分类变量转换为整数值，并将onehotcoder中的n_值=kwarg设置为对应于每个变量可以采用的不同值数量的数组。
-
scikit-learn 是一个 Python 的机器学习项目。是一个简单高效的数据挖掘和数据分析工具。基于 NumPy、SciPy 和 matplotlib 构建。 Installation 依赖 scikit-learn 要求: Python (>= 2.7 or >= 3.3) NumPy (>= 1.8.2) SciPy (>= 0.13.3) 运行示例需要 Matplotlib >= 1
-
本文向大家介绍基于Python和Scikit-Learn的机器学习探索，包括了基于Python和Scikit-Learn的机器学习探索的使用技巧和注意事项，需要的朋友参考一下 你好，%用户名%！ 我叫Alex，我在机器学习和网络图分析（主要是理论）有所涉猎。我同时在为一家俄罗斯移动运营商开发大数据产品。这是我第一次在网上写文章，不喜勿喷。 现在，很多人想开发高效的算法以及参加机器学习的竞赛。所以他
-
这适用于必须使用SVM方法来提高模型精度的分配。 共有3部分，编写了下面的代码 但在此之后，问题如下 执行数字标准化。数据，并将转换后的数据存储在可变数字中。 提示：从sklearn.preprocessing.使用所需的实用程序再次，将digits_standardized分成两个集合名称X_train和X_test。此外，将digits.target分成两组Y_train和Y_test。 提示
-
随着 AlphaGo 在人机大战中一举成名，关于机器学习的研究开始广受关注，数据科学家也一跃成为 21世纪最性感的职业。关于机器学习和神经网络的广泛应用虽然兴起不久，但是对这两个密切关联的领域的研究其实已经持续了好几十年，早已形成了系统化的知识体系。对于想要踏入机器学习领域的初学者而言，理论知识的获取并非难事。
-
Introduction to Machine Learning with scikit-learn This video series will teach you how to solve Machine Learning problems using Python's popular scikit-learn library. There are 10 video tutorials tot
-
本文向大家介绍scikit-learn库如何用于在Python中加载数据？，包括了scikit-learn库如何用于在Python中加载数据？的使用技巧和注意事项，需要的朋友参考一下 Scikit-learn，通常称为sklearn，是Python中的一个开源库，用于实现机器学习算法。 在Python强大而稳定的界面的帮助下，这包括分类，回归，聚类，降维等等。该库基于Numpy，SciPy和Mat