У сучасному інформаційному світі, найважливішою є здатність ефективно перетворювати необроблені дані в практичні ідеї. Однак підготовка та очищення різноманітних даних є серйозним викликом. Клієнти Gartner повідомляють, що 90% або більше свого часу витрачають на підготовку даних (до 94% у складних галузях) для розширеної аналітики, data science інженерії даних.

Зменшення цього часу та ефективне перетворення необроблених даних у аналітичну інформацію має вирішальне значення для збереження конкурентоспроможності. У жовтні Google Cloud представили BigQuery data preparation, перше рішення на основі ШІ, яке оптимізує та спрощує процес підготовки даних.

У версії для попереднього перегляду версії BigQuery data preparation надає низку можливостей:

Підказки на основі штучного інтелекту: BigQuery data preparation використовує Gemini в BigQuery для аналізу ваших даних і схем, а також надання інтелектуальних пропозицій щодо очищення, перетворення та збагачення даних. Це значно скорочує час і зусилля, необхідні для ручної підготовки даних.
Очищення та стандартизація даних: легко виявляйте та виправляйте невідповідності, відсутні значення та помилки форматування у своїх даних.
Візуальні дата-пайплайни: інтуїтивно зрозумілий візуальний інтерфейс із низьким кодом допомагає як технічним, так і нетехнічним користувачам легко розробляти складні дата-пайплайни і використовувати багаті та розширювані можливості SQL BigQuery.
Оркестровка дата-пайплайнів: автоматизуйте виконання та моніторинг дата-пайплайнів. SQL, створений за допомогою BigQuery data preparation, може стати частиною конвеєра обробки даних Dataform, який ви можете розгортати та оркеструвати за допомогою CI/CD для спільного досвіду розробки.

https://storage.googleapis.com/gweb-cloudblog-publish/images/1_IbjmvSK.max-2000x2000.png

BigQuery data preparation допомагає забезпечити точність і надійність ваших даних, сприяючи прийняттю більш обґрунтованих бізнес-рішень. BigQuery data preparation автоматизує перевірку якості даних та інтегрується з іншими службами Google Cloud, такими як Dataform і Cloud Storage, забезпечуючи уніфіковане середовище з можливістю масштабування для ваших потреб у даних.

300 доларів США безкоштовного кредиту, щоб спробувати аналітику даних Google Cloud

Створюйте інтелектуальні додатки, які використовують статистичні дані в реальному часі з безкоштовним кредитом у розмірі 300 доларів США для нових клієнтів. Дізнайтесь більше про рішення та пропозиції Google Cloud у фахівців Wise IT:

Як це працює

Почати роботу легко. Коли ви берете зразок таблиці BigQuery у BigQuery data preparation, рішення використовує найсучасніші базові моделі для оцінки даних і схем для створення рекомендацій щодо підготовки даних, як-от фільтрів і пропозицій щодо трансформації. Наприклад, він знає, як визначити дійсні формати дати за країною та які стовпці можуть виконувати роль ключів об’єднання, прискорюючи процес обробки даних.

https://storage.googleapis.com/gweb-cloudblog-publish/images/2_22EBCcY.max-2000x2000.png

У наведеному вище прикладі (з використанням синтетичних даних) стовпець «Дата народження» містить два різні формати дати та має тип STRING. BigQuery data preparation пропонує « Перетворити стовпець «Дата народження» з рядка типу на дату з таким форматом(ами): ‘%Y-%m-%d’,’%m/%d/%Y ». Після застосування картки пропозицій ви можете перевірити перетворені дані попереднього перегляду в стовпці формату ДАТА.

https://storage.googleapis.com/gweb-cloudblog-publish/images/3_SOVjdSK.max-600x600.png

Завдяки підготовці даних за допомогою штучного інтелекту BigQuery ви можете:

Значно скоротити час, витрачений на виявлення проблем із якістю даних і очищення даних, використовуючи картки пропозицій із підтримкою Gemini
Налаштувати власні картки пропозицій, надавши приклад у сітці даних
Підвищити операційну ефективність, розгорнувши підготовку даних із поетапною обробкою

Що кажуть клієнти BigQuery

Клієнти вже вирішують численні проблеми за допомогою підготовки даних BigQuery.

GAF є основним виробником покрівельних матеріалів у Північній Америці та використовує BigQuery data preparation для створення дата-пайплайнів у BigQuery.

«GAF прагне модернізувати інфраструктуру ETL і побудувати власне рішення BigQuery з низьким кодом. BigQuery data preparation допоможе нашим кваліфікованим бізнес-користувачам і аналітичній групі в процесах підготовки даних для забезпечення самообслуговування аналітики». – Пуджа Панчагнула, директор з управління корпоративними даними та аналітика, GAF

Технології mCloud допомагають компаніям у таких галузях, як енергетика, будівництво та виробництво, оптимізувати продуктивність, надійність і стійкість своїх активів.

“Ми отримуємо потоки даних від наших партнерів. BigQuery data preparation дозволяє нашим продакт-менеджерам самостійно готувати та обробляти файли з потоками даних з мінімальною або взагалі без допомоги нашої команди інженерів з обробки даних.” – Джим Крістіан, директор з продуктів і технологій, mCloud Technologies

Public Value Technologies — це спільне підприємство двох німецьких організацій громадського телерадіомовлення (ARD).

“Public Value Technologies отримує потоки даних від наших медіапартнерів для нашого рішення data mesh та AI-застосунків. BigQuery data preparation дозволяє нашим аналітикам і науковцям швидко інтегрувати потоки даних, стандартизуючи та попередньо обробляючи їх у форматі low-code.” – Корбініан Швінгер, керівник команди інженерів з даних, Public Value Technologies.

Початок роботи

Завдяки потужним можливостям штучного інтелекту, інтуїтивно зрозумілому інтерфейсу та тісній інтеграції з екосистемою Google Cloud BigQuery data preparation має змінити спосіб керування та підготовки даних організаціями. Автоматизуючи виснажливі завдання, покращуючи якість даних і розширюючи можливості користувачів, це інноваційне рішення скорочує час, який ви витрачаєте на підготовку даних, і підвищує вашу продуктивність.