BigQuery返回代码500：“意外。请重试。” 查询示例： 选择IF（（bD>=“2013-03-18”和bD=“2012-03-19”和bD=“2011-03-21”和bD=“2013-03-18”和bDvD、null、（（2013-vY））、IF（bD>=“2012-03-26）和IF-03-26）（bD>vD，null，（（2012-vY））、IF（（bD>=“2011-03-21”和bDvD，null，（（2011-vY））、null））、IF（（bD>=“2013-03-18”和b

我创建了谷歌打包应用（不是扩展）。现在我将使用chromecast设备。chromecast API是否与打包应用程序配合使用 目前不支持此功能，但我们将在将来提供支持。谢谢。那么chrome应用程序的whitelistening操作只是为了扩展？

有时，当使用BigQuery web界面时，我会在页面顶部收到一条错误横幅，上面写着找不到目标表：其中table\u name类似于anon\u-somerandom-gibberish。我在为查询指定目标表时也遇到过这种情况。这是由于BigQuery服务中的临时问题造成的吗？如果是这样，我可以做些什么来检索查询结果而不必重新执行它？当尝试显示查询结果时，会出现此错误，并且用于获取表详细信息的BigQuery API调用失败或超时。发生这种情况的原因有很多，例如表已被删除或BigQuery服务中

我正在将数据从BigQuery表导出到Google云存储，通过使用应用程序默认凭据我能够成功地完成这项工作。我已经在bash\u profile中设置了环境变量GOOGLE\u APPLICATION\u CREDENTIALS（此环境变量指向我的服务帐户JSON文件），这就是我如何检索BigQuery服务的方法（我正在使用Scala（使用Java API）） 现在，我试图找到一种检索BigQuery服务的方法，通过编程方式传递服务帐户JSON文件，而不是使用环境变量（即GOOGLE\u应用程序

尽管提供了正确的格式，Bigquery无法从日期解析datetime。我的列中的日期与我在字符串中使用的格式相同： SELECT EXTRACT(DATE FROM PARSE_TIMESTAMP('%Y-%m-%dT%H:%M:%S%z',"2021-03-22T14:00:00-03:00")) 这会产生以下错误： Failed to parse input string "2021-03-22T14:00:00-03:00" 我试图通过实现这一点

我正在尝试将一些数据从本地服务器上传到BigQuery。由于我不熟悉BigQuery，我一直试图上传几行示例数据，但在所有可用的API和文档之间，我都弄糊涂了。如果我试图上传通过Java加载的数据，而不是从CSV文件中加载，我将如何加载它？我应该写一个POST请求并通过HTTP发送，还是通过JavaAPI创建TableRows并从那里上传？我正计划使用OAuth密钥来完成这一切。我很抱歉，如果这个问题已经在某个地方得到了回答，但我是一个新的数据库工作人员，可以使用澄清 您可以使用多部分http请

我在Google BigQuery中遇到以下错误： Error: Ambiguous field reference in SELECT clause. (Remember to fully qualify all field names in the SELECT clause as <table.field>.) prosperloans1是数据集id 这两个表名是正确的。 无论哪个字段名首先出现在select子句中，错误都会返回 关于Google SQL语法的文档说这是正确的

在传统的数据建模中，我创建了每小时和每天的汇总表，以减少数据存储并提高查询响应时间。然而，创建类似汇总表的尝试很容易遇到“响应太大而无法返回”错误。使用BigQuery创建汇总表的推荐方法是什么？我需要减少数据以降低存储和查询的成本 谢谢 听起来像是将所有数据附加到一个表中，然后想要创建更小的表来查询。。。对吗 一个选项是将数据加载到每小时一次的切片中，然后通过使用write\u disposition=write\u APPEND执行表复制操作来创建每日表和“所有”表。或者，您可以在查询中使用

我在一个数据集上做一个GROUP BY和COUNT*，我想计算每个组占总数的百分比 例如，在这个查询中，我想知道每个州的计数在publicdata:samples.natality:select总计数中所占的比例 SELECT state, count(*) FROM [publicdata:samples.natality] GROUP by state 在SQL中有几种方法可以做到这一点，但我还没有找到在Bigquery中做到这一点的方法，有人知道吗 谢谢 您可以使用伪值作为键，对总数进行

我们正在使用bigquery流式API。直到最近一切都很顺利（没有代码更改）—— 在过去的几个小时里，我们遇到了许多错误，如： “API调用urlfetch.Fetch（）的响应时间太长，无法响应 已取消。回溯（最近一次调用上次）：文件 “/base/data/home/runtimes/python27” 或 “等待URL的HTTP响应时超过了截止日期” insert调用在python延迟进程上完成，并在等待后重试 问题: 我们如何检查这是我们的内部问题还是我们的总体问题 大问题 我们可以增

尝试运行查询时，我在BigQuery中收到一条“错误：意外。请重试”消息。这种情况反复发生 我有两个嵌套的子查询，中间的查询使用了几个计数（不同的x，），所以我想知道这是否是问题所在。如果我删除了外部查询（但仍然有所有计数差异，但它确实可以正常工作。我查找了内部错误，似乎是我们应该在外部执行的错误： 作用域聚合必须使用每个独立重复分支中重复次数最多的字段。必须使用的未使用字段：f6、f5、f4、f3、f2、f1 如果这还不足以调试查询，请告诉我，我可以添加有关错误的更多解释。我查找了内部错误，似

来自SQL Server和一点MySQL，我不确定如何继续使用google的BigQuery web浏览器查询工具 似乎没有任何方法可以创建、使用或设置/声明变量。人们是如何解决这个问题的？或者我在说明中遗漏了一些明显的东西，或者BigQuery的本质？Java API？目前无法在BigQuery中设置/声明变量。如果需要变量，则需要将它们剪切并粘贴到需要的位置。请随意将此作为功能请求提交。这并不优雅，也很痛苦，但是 我们处理它的方法是使用python脚本替换查询中的变量占位符，然后通过API发

您好，我正在计算保管费，我想计算1天、3天和7天的保管费，但我提出了三个问题，有人能告诉我如何在一个问题中给您写信吗。 请帮忙 组合多个查询的简单方法通常是连接。如果您接受每个查询并将其转换为子查询，然后按日期加入，这将为您提供所需的结果 例如： SELECT one_day.activity_date as activity_date, one_day.signed_up_users, one_day.logged_in_users, one_day.retention_pct,

我想知道如何使用BQ命令行工具来更改BigQueryAPI作业的配置。例如，我想从命令行工具更改configuration.load.quote属性。有什么办法吗。我需要它来加载一个内有双引号（“）字段的表。一旦创建了作业，您就不能修改它，但我想您需要的是在创建作业时设置quote属性 在大多数情况下，bq help将为您提供所需的帮助。下面是bq help load的输出。正如您所看到的，您只需在命令之后、参数之前指定--quote=“” $ bq help load Python scrip

我正在尝试对分割函数的结果进行计数。下面的查询显示了一个示例： select a.name, count(if(split(b.name,",")='test',null,1)) > 0 hasTest, from (select * from (select 'test,this' as name) a left join (select '2' as name) b on a.name=b.name) 此查询产生错误：SELECT子句混合了聚合“hasTest”和字

我试图在bigquery中使用带有时间戳的date_add函数，但输出结果是“null”。我以前成功地使用了date_add，所以我不明白问题出在哪里。这里有一些代码 SELECT userId, MAX(most_recent_session) most_recent_session, date_add(MAX(most_recent_session), 24, 'HOUR') as added_a_day, FROM ( SELECT userId, LAG(time, 0) OVER (

我试着把两张桌子连接起来，就像这样 SELECT * FROM main_table h INNER JOIN test.delay_pairs d ON d.interval_start_time_utc < h.visitStartTime AND h.visitStartTime < d.interval_end_time_utc 既不在TIMESTAMP（）中包装h.visitStartTime，也不在CAST（d.interval\u start\

是否可以在BigQuery查询中查找匹配行之前和之后的行？例如，如果我这样做： select textPayload from logs.logs_20160709 where textPayload like "%something%" 然后说我得到了这些结果： something A something B 如何显示匹配行前后的3行？大概是这样的： some text 1 some text 2 some text 3 something A some text 4 some text

创建一个简单的SELECT查询，该查询使用在web UI中运行的别名表名，但当我单击“保存视图”并选择相同的项目和数据集名称，并在“表ID”字段中为视图命名时，会出现以下错误： SELECT d.* FROM dataset.table AS d Failed to save view. Table name cannot be resolved: project name is missing. 如果删除表别名，视图将保存。这是视图创建问题，还是我需要调整语法？我无法复制。每次我尝试时，都

我正在尝试使用嵌套字段连接到google BigQuery表。我使用的是Tableau 10.1 当我拉入嵌套字段时，出现以下错误 Google BigQuery服务无法编译该查询。 无法识别的名称：field.column_1 然而，对于Tableau 9.3，没有这样的错误。有人能告诉我为什么会在新的Tableau版本上出现这种情况吗？如何解决这个问题？将tableau数据源设置更改为使用google bql（遗留sql）解决了这个问题。有两种方法可以做到这一点 方法1:在文本编辑器中编辑表

我正在尝试按日期提取用户活动。我正在尝试使用交叉连接和where子句构建一个自创建用户帐户以来每天的表。在我的例子中，交叉连接是不可避免的。日历表只是过去365天365行的所有日期的列表。用户表有~1b行 以下是因资源不足而失败的查询： SELECT u.user_id as user_id, date(u.created) as signup_date, cal.date as date, from (select date(dt) as date from [dw.calenda

有时，在Google BigQuery中，使用表\u日期\u范围的查询会失败。 但目标表已存在，并且通过重试成功执行失败的查询 具体例子如下 --------------------------------------- The Target Table --------------------------------------- [ Dataset ID ] my_dataset [ Table ID ] my_table_20170519 [ Creation Time ]

我从文档中阅读了这两篇文章，并且从中可以动态地确定表目的地。我使用了完全类似的方法，如下所示： PCollection<Foo> foos = ...; foos.apply(BigQueryIO.write().to(new SerializableFunction<ValueInSingleWindow<Foo>, TableDestination>() { @Override public TableDestination apply(Value

我已经看过几个例子，但我不知道如何将我的查询格式化为一个合并了日内表的联合。TABLE_后缀很好地抓取了我所有的日常表格，但我还需要抓取intradaysmarttruck-6d137.com\u usinc\u android\u android.app\u events\u intraday.*。有人能帮我处理一下这个项目的所有格式吗？多谢各位 SELECT event_dim.date AS Date, ( SELECT value.value.string_value

在大查询中，我使用PERCENT_RANK函数生成了一个大的百分位数表。表格输出生成许多行数据，这些数据的百分位数彼此非常接近。我希望只返回10行，其中的值接近第100、90、80、70等百分位 更具体地说，我正在寻找最接近第80百分位的数字。8并且具有以下样本值： .81876543 .81123141 .80121214 .80012123 .80001213 .80001112 .79999121 在本例中.80001112最接近.8 是否有一个SQL函数我可以使用，它只返回最接近这些百分

我使用以下BigQuery导出数据方案 如果要从普通SQL上的自定义维度数组字段中导出包含额外2个字段的命中数据，则如下所示： +------------------------------------------------------------+ | visitId | hits.refferer | hits_cd_INDEX_201 | cd_INDEX_101 | +-----------------------------------------------------------

我有一个遗留的未分区的大查询表，可以从各种来源（比如tableBigOldA）流式传输日志。目的是将其传输到一个新的day分区表（比如PartByDay），该分区表是通过以下链接完成的： 我计划每天运行批处理作业，将T-1数据从表BigOldA传输到表PartByDay并定期删除它们，这样我仍然可以维护表BigOldA中的流式缓冲区数据，并开始使用PartByDay表进行分析。现在我不确定这是否可以实现 我正在寻找一种替代的解决方案或最佳实践，以了解如何定期将流缓冲表传输和维护到分区表。此外，

我正在使用Firebase从我的应用程序收集事件数据，并将我的Firebase项目集成到BigQuery。每天我都从BigQuery下载每日数据到我的数据库。但几天前，由于我的信用卡到期（即使Firebase也没有从我的信用卡中收取任何费用），服务似乎停止了。所以今天我发现我丢失了2天的数据（5月8日至9日）。有没有什么可能的方法让我找回那些数据？谢谢 您能检查一下是否能找到这两天的数据，并使用数据流将其作为批处理加载吗？嗨，Sammy，谢谢您的回复。你能告诉我怎样才能按照你的建议做吗？谢天谢地

我不知道如何编写查询，从公共数据集中查找每个女性姓名在1910年的最高出现率和对应状态 例如，我在1910年只试过一个名字 select name,state,number high_occurence from `bigquery-public-data.usa_names.usa_1910_2013` where lower(name)="annie" and year=1910 order by number desc limit 1 下面是BigQuery标准SQL 标准SQL 选择

我们正在GCP中创建一个数据管道，并且在测试过程中面临一些问题。我们当前的架构是基于AWS的，为了测试，我们正在从Lambda realtime向pubsub推送一份数据副本 面临从pubsub到BigQuery以及通过数据流存储的延迟问题（是否有办法按照表进行批量加载，而不是一次插入一个事件）我们有一个5分钟的窗口，5分钟后，我们按事件键对数据进行分组，以便存储，并在单个文件中写入该持续时间内的所有事件。我们可以在BigQuery中执行类似的操作，并仅为一个事件类型而不是所有事件定义一次模式

将project.dataset.table与您的真实表格参考放在一起供参考：您可以使用投递答案左侧投票下方的勾号标记接受答案。请参阅了解其重要性的原因。当我在此查询中添加条件时，我在[8:23]处得到一个错误，即无法识别的名称：str。我不知道这个问题出在哪里。你能给我个建议吗！使用关键字作为UNNESTSPLIT中的SELECT关键字a、b、s关键字从xxx交叉连接关键字中选择字符串中的关键字，其中REGEXP包含关键字、CONCATr“？i”组按strw您的标准是什么？！！我怎么能在看不到

在BigQuery UI上运行此查询时： DELETE FROM `A.Books.items` where Date='2018-08-31' 这个查询非常有效。 但是，当我尝试在气流上执行此操作时： delete_sql = '''DELETE FROM `A.Books.items` where Date = {0}'''.format('2018-08-31') # // later this will be variable delete_old= BigQueryOperator(

因此，我编写了一个查询，然后通过单击Bigquery中的“保存视图”按钮将其保存到视图中。对于相同的查询，我通过单击“schedule queries”（我知道这是一个测试版）将它们安排到一个新表中。几天后，我比较了数据（视图和表），结果显示表中的数据有重复 您可以对计划查询设置写入首选项，以便根据您的要求覆盖目标表或追加到目标表 如果您需要更精细的东西，您可以使用，以便您的查询根据您的特定需求再次创建新的表或分区等 如果您看到重复的数据，并且无法找出原因，那么还可以安排第二个查询来查看表和

情况： 我想在Google BigQuery表上加载约5B条记录。我有一个名为“日期时间”的字段，它描述了记录的日期时间（从2012年到今天）。我希望BigQuery表在此字段上进行分区 并发症： 我正在将所有记录流式传输到BigQuery表，BigQuery似乎只接受最近12个月的记录作为分区 问题： 我已经阅读了说明（），但我仍然不明白如何以允许在我的“日期时间”字段上进行分区/索引的方式对数据流进行处理。当前的流式处理限制在本文中定义 您可以在过去1年到未来6个月之间传输数据。不在此范围内

我正在BigQuery中处理一个动态查询，它将为通过json对象传递的每个记录创建x个列。我编写查询是为了以编程方式生成包含x列的查询，但我不知道如何在不复制并粘贴到编辑器中的情况下执行生成查询。有没有办法执行另一个查询生成的查询 我知道可以用Python或任何其他编程语言生成整个查询，但是对于这个特定的用例，我更愿意将所有内容都保存在SQL中 当我执行这个查询时，它会输出下面生成的查询 上述查询的输出： select user_id, event_time, min(case when ac

我有许多具有以下名称的表： datasetW01.W01*，datasetW02.W02*~100 如何优化下面的SQL #standardSQL WITH result1 AS ( SELECT Col1, COUNT(Col1) AS count FROM `dataset.W01_*` GROUP BY Col1 ), result2 AS ( SELECT Col1, COUNT(Col1) AS count FROM `dataset.W02_*` GROUP

我正在运行BigQuery命令行shell，但无法成功运行多行查询（也称为带换行符的查询），因为每当我将查询粘贴到shell中时，每一行都会单独运行，而不是一起运行 比如说, 从表中选择* 很好，因为它在一条线上，但如果我试着跑 选择 * 从…起 桌子 它不起作用，因为每一行都是单独运行的 有什么方法可以让它工作吗？使用query命令可以创建一个查询作业来运行提供的SQL查询。在文档中，您可以找到以下示例： bq query --nouse_legacy_sql \ 'SELECT C

下表显示了设备每小时的能源使用情况： +--------------+-----------+-----------------------+ | energy_usage | device_id | timestamp | +--------------+-----------+-----------------------+ | 10 | 1 | 2019-02-12T01:00:00 | | 16 | 2

我目前正在使用接收器将日志从Stackdriver导出到BigQuery。但我只对jsonPayload感兴趣。我想忽略几乎所有其他的事情。 但是由于表的创建和数据插入是自动进行的，所以我不能这样做。 是否有一种方法可以预处理来自接收器的数据，只存储重要的内容？ 如果答案是否定的，是否有办法每天运行cron作业，将昨天的数据复制到单独的表中，然后将其删除？（知道这些表是使用时间戳命名的，这使得可以按天查询它们）据我所知，这两个选项目前在GCP平台上都不可能实现。在我这方面，我还尝试创建您请求的内

我有两个BigQuery表，它们的列名完全相同，需要连接在一起，同时为stats保留正确的名称。在我的实际示例中，我的表名为进攻性和防守性，它们包含球队的进攻性和防守性篮球统计数据。两个表中的列名都是： team, game, fga, fgm, ast, blk, stk 我想加入团队和游戏栏目中的栏目。我发现，这看起来非常适合我的用例，但是有一件事我不喜欢，那就是示例没有删除连接到列（示例中的公司、供应商、事务）上的重复项。加入后，我不想在我的桌子上有两个团队和游戏。我试过： SELECT

在大查询中查询geolite公共数据集时，结果是针对“es”区域设置的。公共数据集中是否有“en”语言环境数据，或者我们是否需要从Maxmind手动下载英语数据并将其插入我们自己的大查询数据集中？我希望这些数据是由大查询公共数据集所有者维护的 示例查询： 从“bigquery public data.geolite2.ipv4\u city\u locations”中选择*，其中city\u name=“温哥华”； 结果: 有关更多上下文信息：据我所知，geolite Bigquery中没有使用

通过此步骤，我们可以共享单个数据集访问 选择数据集 共享数据集 我们可以一个接一个地做。我们甚至可以通过这种方式共享单个BigQuery表 但是，我怎么知道谁被授予了对我的GCP项目的所有这些数据集/表的共享访问权 不是转到每个数据集和每个表，而是手动选中“共享”链接 谢谢 您可以执行以下操作： bq show --project_id PROJECT DATASET 你可以做： bq show --project_id PROJECT DATASET 我个人使用python函数来显示

我在big query云平台上计划了近1000个查询。然而，我现在不得不暂停所有这些。一种方法是逐个手动禁用，但这将是一项彻底的任务。是否有任何方法可以一次性禁用所有活动查询？CLI不支持禁用计划查询（传输），但可以使用Console/API： 文档链接： 使用API文档禁用传输： 列出传输配置名称： bq ls --transfer_config --transfer_location=US --format=prettyjson | jq '.[].name'

我使用的是case语句和REGEXP_CONTAINS。只是想看看下面的顺序是否能给出正确的输出 (CASE WHEN REGEXP_CONTAINS(AdSet, '(?i)BUS') THEN "BUS" WHEN REGEXP_CONTAINS(AdSet, '(?i)BRA') THEN "BR" WHEN REGEXP_CONTAINS(AdSet, '(?i)DIG') THEN "TR" WHEN REGEX

我是Biq查询和DataStudio的新手，到目前为止，我已经成功地将数据显示在DataStudio中。数据来自我的Firestore项目。问题是，当新数据添加到Firestore时，我希望这些数据自动显示在DataStudio中，但不会有任何运气 我注意到在预览中，我收到一条警告消息“由于重复值或复杂结果，每页达到200行限制”。显示2个结果来反映这一点。我不确定这是否是问题的一部分 我已经在DataStudio中将新鲜度设置为每15分钟一次 当我在DataStudio中按“刷新字段”时，我得

我正在执行以下查询并得到“如果没有一个条件，即连接两侧的字段相等，则不能使用左外部连接” 我应该如何解决它？可能完全连接附加不为空条件将适合您的情况： select p.*, q.* from ( select a.* from table1 a left join (select distinct * from table2) b on a.name1=b.name2 where a.name1 is not null ) p full join (S

我想在本地测试BigQuery DataTransfer API，但在库中遇到问题： client = bigquery_datatransfer_v1.DataTransferServiceClient() projectid = 'MyProjectID' transferid = 'MyTransferID' parent = client.transfer_config_path(projectid, transferid) start_time = bigquery_datatr

我正在尝试使用BigQuery的免费层来教育自己，我的第一个挑战是创建一个股票价格趋势跟踪系统。对于这一点，我会有历史股票市场价格表，涵盖我99%的需求，但最重要的是最后1%，因为这部分将代表实时或接近实时的数据。我们的目标是结合这两个来源，使价格趋势包括最近的数据，并在此基础上创建信号。但是 尽管历史数据部分可以通过定期加载例如.csv文件来覆盖，但近实时数据不能流化，因为这在空闲层是不允许的。除此之外，我总是只需要一行作为当天每个基金猜测收盘价的公平表示。然后我可以每小时左右运行一次 所以我

我的项目是跟踪我的移动应用程序事件到Firebase，然后将其集成到bigquery。默认情况下，我的表过期时间为60天。但我需要永久保存我的事件表（包括日常数据）。两个月前，我在bigquery中将我的项目链接到我的账单帐户，以进行计划查询。我想我可以更新我的事件表过期时间。我多次尝试将表过期设置更改为从不级别。（在点击表格信息旁边的铅笔图标后，我选择了“从不”，我发现表格过期时间回到了第二天的60天）。现在我的桌子不见了……请检查我贴在下面的所有图片 你能帮我尽快解决这个问题吗？非常感谢你

我正在努力将数据从BigQuery导入到PowerBI 我正在尝试从BQ中提取一个视图，目前使用的是Import，但是它没有提取我在视图的更新版本中添加的任何新列 let Source = GoogleBigQuery.Database([BillingProject="prod", UseStorageApi=false]), prod = Source{[Name="prod"]}[Data], Metrics_Schema