Google Cloud Composer和Google CloudSQL
我们有哪些方法可以从新推出的Google Cloud Composer连接到Google CloudSQL（MySQL）实例？其目的是将数据从云SQL实例获取到BigQuery中（可能通过云存储的中间步骤）。
> < li>
云SQL代理可以在Kubernetes cluster hosting Composer的pods部分以某种方式公开吗？
如果没有，可以通过使用Kubernetes服务代理引入云SQL代理吗？-
是否应该使用Airflow来调度和调用GCP API命令，如1）将mysql表导出到云存储2）将mysql导出读取到bigquery？
也许我还缺少其他方法来完成这件事
共有3个答案
您可以按照这些说明在集群中启动新的CloudSQL代理实例。
建议3:听起来是个好计划。据我所知，没有云SQL到BigQuery的操作符，所以你必须像你描述的那样分两个阶段完成。
我们遇到了同样的问题，但使用的是Postgres实例。这就是我们所做的，并使其发挥作用：
>
在运行 airflow 的 Kubernetes 集群中创建 sqlproxy 部署。这是默认airflow_db连接使用的现有 airflow-sqlproxy 的副本，对部署文件进行了以下更改：
-
< li >用新的代理名称替换airflow-sqlproxy的所有实例 < li >在“规格:模板:规格:容器:命令:-实例”下编辑，用我们要连接的新实例替换现有实例名称
创建一个kubernetes服务，再次作为现有airflou-sqlproxy-service的副本，并进行以下更改：
- 用新的代理名称替换气流sqlproxy的所有实例
- 在“spec:ports”下，更改为适当的端口（我们在Postgres实例中使用了5432）
在气流 UI 中，添加 Postgres 类型的连接，并将主机设置为新创建的服务名称。
"云SQL代理提供对您的云SQL第二代实例的安全访问，而无需将IP地址列入白名单或配置SSL."-Google CloudSQL-代理文档
CloudSQL Proxy似乎是连接到CloudSQL的推荐方式。所以在 Composer 中，从 1.6.1 版本开始，我们可以创建一个新的 Kubernetes Pod 来运行 gcr.io/cloudsql-docker/gce-proxy:latest 映像，通过服务公开它，然后在 Composer 中创建一个连接以在运算符中使用。
要进行设置：
>
关注谷歌的留档
使用Arik的Medium Post中的信息测试连接
>
检查pod是否已创建kubectl get pods--all-namesspace
检查服务是否已创建kubectl-get-servicess-all命名空间
跳转到一个工作节点kubectl--namesspace=作曲家-1-6-1-airflow-1-10-1-
< li >测试mysql连接< code>mysql -u composer -p - host
注意事项:
>
Composer现在使用命名空间来组织pod
不同名称空间中的Pod不会相互对话，除非您提供完整的路径
使用完整路径创建新的Composer连接将启用成功连接
-
问题内容： 关于它们有很多传说。我想知道真相。以下两个示例之间有什么区别？ 问题答案： 不确定从何处获得传说，但： 提交按钮 与： IE6将在标记之间提交此按钮的所有文本，其他浏览器将仅提交值。使用可使您在按钮的设计上享有更大的布局自由度。从各种意图和目的看，它乍一看似乎很棒，但是各种浏览器怪癖使它有时很难使用。 在您的示例中，IE6将发送到服务器，而其他大多数浏览器将不发送任何内容。要使其跨浏览
-
什么区别以及如何正确重写代码？
-
我试图理解为什么下面两个代码块会产生不同的结果。 代码块1按预期工作，并返回从数据库中查找的提供程序的数组。另一方面，代码块2返回函数数组。在理解promissione.all（）和async/await时，我觉得缺少了一些简单的东西。 代码块的差异如下： > 块1：创建许诺函数数组，然后使用map运算符将其包装在异步函数中。 块2：许诺函数的数组被创建为异步函数。因此，不调用map运算符。 如果
-
问题内容： 我才刚刚开始研究SQL。 我有一个SQL Server 2008r2数据库，它将返回两个字段DocDate和InvValue。我需要将InvValues汇总为今天的MTD和YTD，所以看起来像 我已经做了大量的Google搜寻，并且可以使用SUM＆DATEPART进行一项或多项，但是我坚持尝试两者兼而有之。 有人可以给我一些伪代码，以帮助我进一步谷歌。 谢谢@戈登·利诺夫（Gordon
-
这个示例代码来自一本Java书籍，从墙上的99瓶啤酒到没有啤酒打印出这首歌。问题是，当墙上是1瓶啤酒时，它仍然写着瓶子。我试图通过在末尾添加部分来解决这个问题。但是，它仍然显示1瓶啤酒在墙上，我瓶啤酒在墙上。 我不知道该改变什么来解决这个问题。是否创建另一个while部分？ 如果你能给他们一个提示，这样我就可以自己解决它，那也很酷！因为我知道我的实际歌曲输出是在第一个if部分，但我不知道我应该在哪
-
原文地址：https://cesiumjs.org/tutorials/cesium-and-webpack/ Cesium 和 Webpack Webpack是非常强大非常流行的JavaScript 模块打包工具。它可以让开发人员以一种简单直观的 require 方式去加载各种页面需要的文件，极大的方便了开源人员对代码和资源文件进行结构化设计。当编译的时候，它会跟踪代码依赖性，把所有的模型打包到
-
问题内容： 我一直在学习redis和node.js。我有两个问题，找不到令人满意的答案。 我的第一个问题是关于在node.js中重用Redis客户端。我找到了这个问题和答案：如何在socket.io中重用Redis连接，但还不足以让我满意。 现在，如果我在连接事件中创建redis客户端，它将为每个连接生成。因此，如果我有2万个并发用户，那么将有2万个Redis客户端。 如果我将其放在连接事件之外，
-
我需要控制日志框架的最大磁盘空间量。 例如，在log4j中，如果有如下所示的追加器，我可以很容易地估计需要多少磁盘空间： 对于maxFileSize和maxBackupIndex，我知道最多需要10x100KB。 我注意到DailyRollingFileAppender，但它不支持maxFileSize。 除了RollingFileAppender之外，是否还有其他fileappender可以实现