Популярные вопросы по тегу GOOGLE-BIGQUERY
Ошибка при преобразовании метки времени BigQuery из строки даты ISO 8601
... етки времени 4 гласит: Creates a QueryParameterValue object with a type of TIMESTAMP. Must be in the format"yyyy-MM-dd HH:mm:ss.SSSSSSZZ", e.g. "2014-08-19 12:41:35.220000+00:00". Как преобразовать myIsoDateString в требуемый формат? Есть 3 ли лучший метод, который я могу использовать 2 дл ...
Преобразование DATE в TIMESTAMP в BigQuery / StandardSQL
... 2 DATE в целое число, а затем преобразовать 1 в TIMESTAMP, но, похоже, ...
BigQuery - проверьте, существует ли уже таблица
... набор данных в BigQuery. Этот 16 набор данных содержит несколько таблиц. Я 15 программно выполняю следующие шаги с помощью 14 BigQuery API: Запрос таблиц в наборе данных. Поскольку 13 мой ответ слишком велик, я включаю параметр 12 allowLargeResults и перенаправляю свой ответ 11 на целевую таблицу. Затем я экспортирую данные 10 из целевой таблицы в корзину GCS. Требования: Предположим, мой 9 процесс завершилс ...
Bigquery - json_extract все элементы из массива
... ждого json 5 в наборе jsons (используя устаревшее sql) в 4 настоящее время я использую функцию извлечения 3 json: json_extract(json_column , '$[1].X') AS X, json_extract(json_column , '$[1].Y') ...
Примеры Bigquery + PHP
... о есть примеры для python и java, но 5 ничего не нашел для PHP. Вот браузер bigquery 4 https://bigquery.cloud.google.com/?pli=1 Например, вы можете запустить этот SQL в 3 браузере SELECT corpus,count(*) FROM p ...
Стандартный SQL BigQuery: как группировать по полю ARRAY
... by expressions of type ARRAY is not allowed. Я могу использовать 8 что-то вроде GROUP BY ARRAY_TO_STRING(a, ","), но тогда два массива ["a,b"] и ["a","b"] сгруппированы 7 вместе, и я теряю «реальное» значение своего 6 массива (поэтому, если я хочу использовать 5 его позже в другом запросе, я нужно разбить 4 строку). Значения в этом массиве полей поступают 3 от пользователя, поэтому я н ...
Стратифицированная случайная выборка с помощью BigQuery?
... ыполнить стратифицированную выборку 5 в BigQuery? Например, нам нужна 10% -ная 4 пропорциональная стратифицированная выборка 3 с использованием category ...
Рассчитайте процент группы с помощью GROUP BY
... ния представляет по сравнению с общим количеством (выберите счетчик () из publicdata: samples.natality): SELECT state, count(*) FROM [publicdata:samples.natality] GROUP by state Есть 3 несколько способов сделать это в SQL, но 2 я не нашел способа сделать это в Bigquery, кто-нибудь 1 знает? Спаси ...
Чтобы удалить двойные кавычки из строки даты в SQL
... оку 4 даты как «2016-01-01 11:31:25», я хочу это 3 без двойных кавычек. Я пробовал использовать 2 метку времени как: timestamp(JSON_EXTRACT(JSON_E ...
Понимание «Ресурсы превышены во время выполнения запроса» с помощью GROUP EACH BY в BigQuery
... taining 24 unix timestamps] timestamps WHERE last_updated_time < timestamps.snapshot_time GROUP EACH BY alternative, user_id, snapshot_time (Вот 11 пример невыполненного задания: 124072386181: job_XF6MksqoItHNX94Z6FaKpuktGh4) Я 10 понимаю, что этот запрос может вызывать 9 проблемы, но в данном случае размер таблицы 8 составляет всего 22 МБ, а ре ...
WITH в BigQuery
... запросов. Например: WITH alias_1 AS (SELECT foo1 c FROM bar) , alias_2 AS (SELECT foo2 c FROM bar a, alias_1 b WHERE ...
Дата сравнения BigQuery
... «2016-01-20T00: 00: 00». Я 14 хочу запустить запрос, который, например, показывает 13 строку, которая включена в некоторый диапазон 12 (скажем, с 2016-01-01 по 2016-02-28). Проблема 11 в том, что когда я помещаю ...Where data < TIMESTAMP('2017-01-30 00:00:00')...//less then он ничего не показывает, но 10 когда я меняю его на противоположное значение, например ...Where data > TIMESTAMP('2017-01-30 00:00:00')...//greate ...
BigQuery StandardSQL: последние 7 дней с использованием _TABLE_SUFFIX
... ENT_DATE вместо CURRENT_TIMESTAMP: WHERE _TABLE_SUFFIX BETWEEN 'DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)' AND 'DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY)' Результат: «Действителен: при 12 выполнении этого запроса будет обраб ...
Можно ли получить расширенную или полную историю запросов в google bigquery?
... ня 10 все еще есть). Поскольку удаление таблиц 9 в BigQuery является постоянным (верно?), я 8 хотел бы восстановить потерянную таблицу, желательно 7 без перезаписи запроса. История запросов 6 в веб-интерфейсе, очевидно, отображает только 5 ограниченное количество запросов. К с ...
Добавление нескольких секционированных столбцов в таблицу BigQuery из запроса SQL
... , похоже, он занимает 6 только одно поле, даже если я добавляю несколько 5 полей раздела в параметры запроса. Я разделяю 4 по дате, времени и целочис ...
BigQuery - Использование INSERT INTO для копирования данных из одной вложенной таблицы в другую вложенную таблицу
... ую 3 вложенную таблицу, и у меня возникает следующая 2 ошибка: «Синтаксическая ошибка: Ожидается») или 1 «,» но есть «.» « Запрос: INSERT INTO `<GCP_PROJECT_NAME>.Test_Tables.Nested_Person_Table2` (id, first_name, last_name, dob, address.status, addr ...
Как получить gcloud auth activate-service-account persist
... gcloud auth activate-service-account --key-file /somekeyFile.p12 someServiceAccount.gserviceaccount.com Запрос из таблицы 14 bigquery, это отлично работает: bq --project_id=formal-cascade-571 query "select * from dw_test.clokTest" Но затем 13 я вышел из системы и снова вошел в систему. Когда 12 я ...
Преобразование целочисленного типа в float в BigQuery Standard Sql
... BigQuery Standard Sql? Я пробовал 4 эти команды: Я пробовал эти команды: SELECT 3 float (author.time_sec) FROM bigquery-public-data.github_repos.commits LIMIT 1000 SELECT 2 пр ...
Как найти размер набора данных Google BigQuery, а не размеры таблиц?
... го набора данных. SELECT * From 'dataset'._TABLES_SUMMARY_WHERE size_by ...
Как получить «прошлый понедельник» в BigQuery?
... читать 4 эту дату? Например, сегодня понедельник, поэтому 3 формула должна возвращать сегодняшнюю дату, если 2 вызывается. Вчера он должен был вернуться 1 27 числа п ...
Как использовать регулярное выражение в BigQuery
... okay С Bigquery (legacy-sql): SELECT REGEXP_EXTRACT(CustomTargeting, r'[^u=\d]') as validate_users from [project:dataset.impressions_4213_20181112] Limit 10 Ошибка: Необходимо 4 указать ровно одну группу захвата Обновление: Не 3 удалось получить подстроку u = 'anystring' Как ...
Экспорт из Google BigQuery в CloudSQL?
... данных CloudSQL. Как лучше всего добиться 5 этого программно? Я понимаю, что могу сделать 4 это manually, запустив запрос BigQuery, загрузив 3 его как CSV, а затем загр ...
Большой запрос, выделенный и сгруппированный по
... OUP BY group?, я пытаюсь сделать очень похожую 8 вещь в большом запросе Google. Набор данных: fh-bigquery: reddit_comments.2018_01 Цель: для 7 каждого link_id (отправка Reddit) выберите 6 первый комментарий с точки зрения created_utc SELECT body,link_id FROM [fh-bigquery:reddit_comments.2018_01] where subreddit_id == "t5_2zkvo" ...
Столбец с NULL нельзя использовать для объединения в BigQuery.
... 21 AS field), (SELECT NULL AS field) возвращает успешный результат. Но 11 когда я запускаю аналогичный запрос со строковым 10 типом в одном подзапросе, он не работает. Вот 9 ошибка запроса с Невозможно объединить таблицы: несовместимые типы. 'field': STRING 'field': BOOL: SELECT field FROM (SELECT 'hello' AS field), (SELECT NULL AS field) Как лучше всего определять 8 типы и приводить ...
Почему BigQuery так медленно работает с данными небольшого размера?
... й 8 оценивал технологию выполнения запросов 7 по размерам данных от 1 до 100 миллионов 6 строк для аналитического продукта, который 5 имеет около 1000 пользователей, и его отзывы 4 заключались в том, что он не мог поверить, насколько 3 медленным был BigQuery. Без защиты продукта 2 BigQuery мне было интересно, есть ли какие-нибудь 1 планы по его улучшению: Скорость BigQuery - особ ...
Как исключить NULL из ARRAY, чтобы запрос не завершился ошибкой
... ые она создает. Когда 5 такие массивы являются частью результата 4 запроса, запрос завершается ошибкой: В массиве 3 не ...
Bigquery: STRUCT (*) синтаксис
... казывая их по имени? Пример, который 5 не работает: WITH data as ( SELECT 'Alex' as name, 14 as age, 'something else 1' other_field UNION ALL SELECT 'Bert' as name, 14 as age, 'something else 2' other_field UNION ALL SELECT 'Chiara' as name, 13 as age, 'something else 3' other_field ) SELECT AS STRUCT(SELECT * except (other_field) from data) as student_data Возвращает: Error: Scalar subquery cannot have m ...
BigQuery - экспорт результатов запроса в локальный файл / хранилище Google.
... t;source_table> <destination_uris> Я не хочу 9 извлекать всю таблицу, поскольку таблица 8 содержит много столбцов, которые не требуются, и 7 мне нужно агрегировать данные. На данный 6 момент единственный обходной путь, который 5 я смог ...
Заполнение отсутствующих дат в BigQuery (SQL) без создания нового календаря
... EstMin EstMax 1 2017-07-21T00:00:00Z 0.125 0.25 2 2017-07-24T00:00:00Z 5.125 5.375 3 2017-07-25T00:00:00Z 8.75 10.25 4 2017-07-26T00:00:00Z 10.0 12.0 5 2017-07-27T00:00:00Z 10.5 12.75 6 2017-08-01T00:00:00Z 15.25 19.125 7 2017-08-02T00:00:00Z 15.5 19.375 8 2017-08-05T00:00:00Z 16.25 20.625 Как видите, у 6 м ...
BigQuery: преобразовать эпоху в TIMESTAMP
... for operator < for argument types: TIMESTAMP, INT64. Supported signature: ANY < ANY Ни упаковка 2 h.visitStartTime в TIMESTAMP(), ни CAST(d.interval_start_time_utc AS INT64) не работают. Как сделать их сопоставимыми 1 в стандартном д ...
Стандартный sql BigQuery - не соответствует регулярному выражению
... ь создать запрос, который выберет 4 все не соответствует заданному регулярному 3 выражению В прошлом у нас был REGEX_MAT ...
Что попробовать, чтобы BigQuery преобразовал БАЙТЫ в STRING?
... documentation предлагает преобразовать поля 9 BYTE в СТРОКИ. У нас есть байтовое поле, которое 8 является результатом хеширования поля SHA256 7 с использованием самого BigQuery. Теперь 6 мы хотим преобразовать его в STRING, но 5 когда мы запускаем «CAST (field_name to 4 STRING)», мы получа ...
При использовании BigQuery API с Google Таблицами произошла ошибка при подстановке шаблона файла.
... таблицам Google) из BigQuery API возникает 9 следующая ошибка: [..] "errorResult" : { "location" : "/gdrive/id/<removed_file_id>", "message" : "Encountered an error while globbing file pattern.", "reason" : "invalid" } [..] Та ...
Стандартный синтаксис SQL BigQuery: таблицы _TABLE_SUFFIX и .yesterday
... работать, когда все таблицы набора данных 4 следуют одному и тому же шаблону чисел. Однако 3 для наборов данных, содержащих дополнительные 2 таблицы, такие как .yesterday, я получаю сообщение 1 об ошибке: Views cannot be queried through prefix. Matched views are: githubarchive:day.yes ...
md5 в bigquery
... 5('<<some string>>') as hashed который 2 всегда возвращает "==" в последней части 1 бук ...
Невозможно установить целевую таблицу с помощью BigQuery Python API
... я получаю следующую ошибку BigQuery 3 при использовании Python API: google.api_core.exceptions.BadRequest: 400 configuration.query.destinationTable не может быть установлен для скриптов Я использую 2 эту функцию: def execute_bigquery_sql(query, dataset_id, table_id, use_legacy_sql=True, write_disposition='WRITE_TRUNCATE'): client = bigquery.Client() job_config = bigq ...
Bigquery INSERT после оператора WITH AS не работает
... у 6 это: WITH source1 as ( SELECT blah FROM blah ), source2 as ( SELECT moreblah FROM source1) INSERT INTO newtable SELECT * FROM source2; В нем говорится, что у меня синтаксическая 5 ошибка Expected "(" or "," or keyword SELECT but got keyword INSERT. Мне интересно, является ли это 4 проблемой BigQuery. Я смотрел другие места, такие 3 ...
BigQuery - выберите только первую строку в BigQuery.
... толбце A (без других критериев). Имейте 5 в виду, я хочу, чтобы все соответствующие 4 столбцы были выбраны также для упомянутой 3 новой найденной строки (я не хочу их исключать). Может 2 ли кто-нибудь помочь мне с правильным запросом. Вот 1 приме ...
Как создать таблицу, если она не существует в большом запросе, используя командную строку или sql
... ее нет в большом запросе попытался 3 использовать команду Mk для создан ...
Как получить подробную ошибку Big Query с помощью PYTHON
... client = bigquery.Client() dataset_ref = client.dataset(config.DATASET_ID ) table_ref = dataset_ref.table(TABLE_ID) job_config = bigquery.LoadJobConfig() job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON job_config.autodetect = False with open(FILE_NAME, 'rb') as source_file: job = client.load_table_from_file( source_file, table_ref, location= ...
Как остановить выполнение запроса bigquery
... н кажется бесконечным. Я просто хотел 6 провести несколько тестов, прежде чем переносить 5 всю работу на bigquery, но теперь боюсь, что 4 он потратит весь ежемесячный бесплатный 3 лимит в 100 ГБ и больше. таблица представляет 2 собой простые пары "ключ-значение" целочисленных 1 зн ...
Добавьте пять часов в поле отметки времени
... : 5 4 часов 30 минут в поле отметки времени с 3 помощью bigquery. Мое поле отметки времени 2 имеет формат - '2016-05-0 ...
Как выполнить линейную регрессию в BigQuery?
... ) и CORR 4 (X, Y), но не предлагает функций для прямого 3 выполнения линейной регрессии. Как можно ...
Заполнение таблицы всеми датами из заданного диапазона в Google BigQuery
... | +------------+ | 2015-06-01 | | 2015-06-02 | | 2015-06-03 | | ... | | 2016-07-11 | +------------+ В оптимальном варианте следующим шагом 7 было бы также получить все недели между 6 двумя датами, то есть: +---------+ | week | +---------+ | 2015-23 | | 2015-24 | | 2015-25 | | ... | | 2016-28 | +---------+ Я возился со следующими 5 ответами, которые нашел, но не могу заставить 4 их работать, в основ ...
BigQuery: объединение нескольких полей в массив
... В качестве альтернативы 7 можно было бы сделать что-то вроде этого: Итак, во-первых, если 6 бы я использовал такой запрос, сделал бы 5 он то, что я хочу, или это не гарантирует, что 4 два поля проходят в одном и том же порядке 3 (т. е. соответствующие значения в Value_1 ...
Как реализовать «лайк» в BigQuery?
... запрос с ограничением 2 вроде% в BigQuery, но LIKE отсутствует в их синтаксисе ...
Преобразование строки ГГГГММДД в дату в стандартном SQL / BigQuery
... вать 7 подстроку sql, но когда я запускаю запрос 6 с помощью функции date в sql, он не работает 5 с имеющимся у меня форматом даты. Вот мой 4 запрос: SELECT (DATE ((SUBSTR(JOUR, 1, 4), SUBSTR(JOUR, 5, 2), SUBSTR(JOUR, 7, 2)))) As date FROM TABL ...
Google BigQuery: префикс для всех столбцов объединенной таблицы с повторяющимися именами
... --------+ Если таблица 7 будет изменяться по полям, мне нужно будет 6 каждый раз редактировать оператор (или операторы), чтобы 5 применить новые поля с заданным префиксом. Таким 4 образом, этот подход с использованием фиксированных 3 имен столбцов не подходит Есть ли способ, оператор 2 запроса, чтобы получить указанную выше таблицу, автоматически 1 применяя префикс? Что-то вроде: SELECT u.* AS user_*, p.* AS parent_* F ...
MongoDB в BigQuery
... размещенного в mlab, в google bigquery? Сначала 5 я пытаюсь выполнить однократную загрузку 4 из MongoDB в ...
BigQuery COUNT (DISTINCT значение) vs COUNT (значение)
... SELECT count(*) as totalrow, count(DISTINCT BankId ) as bankidcnt FROM bank.Banks_token; И я получаю следующий 4 результат: Row totalrow bankidcnt 1 9513 9903 Моя проблема в том, что если у 3 меня 9513row, как я могу по ...
