通过Azure DataBricks MLFlow进行令人尴尬的并行超参数搜索
概念问题。我的公司正在推动 Azure 数据砖。我正在努力了解这会把我们带到哪里。
我正在将本地完成的一些工作移植到 Azure 数据砖平台。我想使用 Azure 数据砖 MLfLow 对大量超参数组合运行一个试验。我正在使用 PyTorch 来实现我的模型。
我有一个有8个节点的集群。我想以一种令人尴尬的并行方式在所有节点上开始参数搜索（每个节点运行一次，独立运行）。这是不是像创建一个MLflow项目一样简单，然后对每个超参数组合使用mlflow.projects.run命令，数据库MLflow会处理剩下的事情？
这种技术能做到吗？我在找一些可以让我实现这一目标的参考资料。
共有1个答案
简短的回答是肯定的，这是可能的，但不会像运行单个mlflow命令那样简单。您可以使用Spark Python UDF并行化单节点工作流，这个笔记本就是一个很好的例子
我不确定这是否适用于pytorch，但有一个hyperopt库，可以让您使用Spark在参数间并行搜索-它与mlflow集成，并在databricks ML运行时可用。我只在scikit学习中使用过它，但它可能值得一看
-
拉卡拉产品培训生的面试，感觉真的好尴尬，有写几个获奖的参赛项目，但其实都比较水，然后面试官又问的很详细，一边回答一边在脑子里疯狂喊救命，然后几乎所有的问题都要让你举例子回答，比如我说我学习能力强，hr让我举例说一下，额外学习了什么，用什么方式，有什么产出。 全程四十分钟的面试，除了自我介绍每个问题都要举例子说。 面完已经打算为面试中的每一个小点都预先准备一个例子了，虽然也不知道春招还能不能有面试:
-
本文向大家介绍通过jquery 获取URL参数并进行转码，包括了通过jquery 获取URL参数并进行转码的使用技巧和注意事项，需要的朋友参考一下 jquery 获取URL参数并转码，首先构造一个含有目标参数的正则表达式对象，匹配目标参数并返回参数值 代码如下： 测试url：http://xxxx.html?picture="XXXX"&content="你好！"
-
1.自我介绍 答：巴拉巴拉 2.实习+项目 答：巴拉巴拉 3.好 问一些基础 java巴拉巴拉 答：不好意思，我不会java ，最近有准备开始学java 4.emmm 好 （停顿数秒）那我们做题吧 答：AC 5.好 那我考察考察你学java怎么样了？ 巴拉巴拉 答：不会 6.好 那你有啥要问我的吗？ 答：怎么学java 同学们有啥速成java的路线吗？本人cpp+golang选手
-
我想将参数传入这个文件。 以下命令对int和string参数有效，但对boolean无效。 如何传入布尔参数？我尝试将作为的参数，但这不起作用。
-
问题内容： 为了使log4j正常运行，我必须设置/传递哪些变量作为JVM的参数？正确地说，我的意思是不要抱怨并打印到控制台。我可以看一个典型的例子吗？ 注意：我需要避免在应用程序中创建log4j.properties文件。 问题答案： 您是否有一个log4j配置文件？只需使用 {文件路径}的前缀 编辑： 如果您正在使用log4j2，则需要使用
-
1.自我介绍 2.java怎么创建对象（除了new关键字） 3.假设数据库有两张表怎么进行连接查询，详细说一下sql语句 4.在一个mybatis文件里面怎么跟数据库这两张表进行映射 5.mybatis框架怎么进行一对多映射 6.mysql怎么去除重复字段 7.怎么进行字符串反转 8.string、stringbuffer、stringbuilder 尴尬的来了 -----------------