BigQuery表提取的行是否可以随机化
我目前正在将BigQuery表提取到Google Cloud Storage中的分片. csv中——有什么方法可以对提取的行进行洗牌/随机化吗？GCS. csv将用作GCMLE模型的训练数据，当前的导出是非随机顺序的，因为它们被类似的“标签”捆绑在一起。
这会在培训GCMLE模型时产生问题，因为您必须随机提交每个批次中所有标签的模型示例。而GCMLE/TF能够随机化单个数据行的顺序。csv的，但据我所知，没有任何方法可以将多行中选定的行随机化。所以，我正在寻找一种方法来确保将行输出到。csv确实是随机的。
共有1个答案
BigQuery表提取的行可以随机化吗？
不可以。提取作业API（因此任何构建在其上的客户端）都没有允许您这样做的内容。
我正在寻找一种方法来确保将行输出到。csv确实是随机的。
您应该首先创建与csv文件相对应的表，然后将它们逐个提取到单独的csv中。在这种情况下，您可以控制进入csv的内容
如果您关心的是处理成本（您需要扫描表的次数与所需的csv文件的次数相同），那么可以在从非分区表迁移到分区表时检查分区方法。这仍然涉及成本，但大大降低了成本
最后，零成本选项是使用Tabledata。列出带有分页的API，同时在整个csv文件中分发响应-您可以在自己选择的客户机中轻松做到这一点
-
问题内容： 我想对数据库中的敏感数据使用加密安全的主密钥-这是无法猜测/可预测的，并且不能由数据库生成（在持久存储对象之前，我需要密钥）。 我了解Java使用带有加密安全随机数生成器的4型UUID，但是我知道UUID并不是完全随机的，所以我的问题是，假设无法从一组现有的uuid中预测uuid，这有多安全？ 问题答案： 好吧，如果您想知道UUID的随机性，则必须查看源。 以下代码部分摘自OpenJD
-
最近打算使用 Python + MongoDB 做原型系统，现在纠结 Mysql 和 MongoDB 因为迭代较快且字段很多也复杂，所以相对倾向 MongoDB 但听说 MongoDB 做复杂的 Join 查询比如做企业业务报表不太信？有没有有经验的老哥分享下？
-
问题内容： 我只是从Docker开始，因此能够看到用于创建现有Docker映像的Dockerfile将非常有帮助。 即使图像是通过手动运行命令然后提交给标签来构建的，但出于学习目的和安全目的，能够看到图像的制作方式还是很不错的。 有没有一种方法可以提取Dockerfile或用于构建给定Docker映像的命令列表？ 问题答案： 您有很大帮助。如果没有任何步骤涉及stdin，它甚至可以用于生成dock
-
我刚刚开始使用Docker，能够看到用于创建现有Docker图像的Dockerfiles将非常有帮助。
-
问题内容： 是否可以使用javascript或Submit按钮同时提交两个表单？ 表单结构可以如下所示： 并从两个数组中获取数据？ 问题答案： 不，这是不可能的。您可以创建第三个隐藏表格，该表格将序列化这两个表格中的字段。 如果可以使用jQuery： 您需要确保str1和str2不为空，并且当然要避免两种形式之间的名称冲突。
-
问题内容： 例如，可以将其用于生成一次性填充密钥吗？ 另外，它的来源是什么，如何将其用于生成 x 和 y 之间的随机数？ 问题答案： 在这个宇宙中，唯一可以真正考虑的是基于量子效应的宇宙。常见的例子是放射性衰变。对于某些原子，您只能确定其半衰期，但不能确定下一个原子核会破裂。 关于-取决于实现。在Linux中，它用作熵源： Linux内核根据键盘时序，鼠标移动和IDE时序生成熵，并通过特殊文件/