在线课程 – Google Cloud 无服务器数据处理专业认证

创建可轻松高效扩展的大数据应用程序。

Suggested by: Coursera (What is Coursera?)

Start your Coursera.com free trial today
在线课程 - Google Cloud 无服务器数据处理专业认证

Professional Certificate

初级 高级 中级 混合

No prior knowledge required

Time to complete the course

7-day free trial

No unnecessary risks

Skills you will acquire in the course

  • 近似误差
  • 图
  • 回归
  • 因果律
  • 数据模型
  • 提取、转换和加载 （ETL）
  • 分析学
  • 统计学（计算机科学）

What you will learn in the course

Courses for which the course is suitable

  • 数据工程师
  • 大数据分析师
  • 云数据架构师
  • 数据管道开发人员
  • 数据运营专家 （Data Operations Specialist）
  • 数据科学家
  • 商业智能开发人员
  • 数据处理工程师

专业化 – 由三部分组成的课程系列

维护能够满足以数据为中心的业务不断增长的需求的技术集变得越来越困难。每个大数据专业人士都知道大数据的三个 V：数量、速度和多样性。如果有一种技术适合大规模并旨在满足这些要求，那会怎样？

这就是 Google Cloud Dataflow 的用武之地。Google Cloud Dataflow 通过结合批处理和基于流的处理来简化数据处理，提供无服务器体验，使用户能够专注于分析而不是基础架构。此专业化课程专为希望加深对 Dataflow 的理解并改进其数据处理应用程序的客户和合作伙伴而设计。

作为专业化的一部分，有三门课程：

  • Foundations，评估了 Apache Beam 和 Dataflow 如何协同工作以满足您的数据处理需求，而不会冒着依赖供应商的风险
  • Developing Pipelines，介绍如何将我们的业务逻辑转换为可以在 Dataflow 中运行的数据处理应用程序
  • 操作，探讨了在 Dataflow 中运行数据应用的最重要经验教训，包括监控、问题排查、测试和可靠性。

应用学习项目：

此专业包括使用 Qwiklabs 平台的动手实验。这些实验基于课程模块中讨论的概念。如果适用，我们提供实验室的 Java 和 Python 语言版本。对于需要添加/更新代码的实验室，我们提供了推荐的解决方案供您参考。

Details of the courses that make up the specialization

使用 Dataflow 进行无服务器数据处理：巴西葡萄牙语课程基础知识

  • 课程 1 • 3 小时

课程详情

学习内容

  • 演示 Apache Beam 和 Cloud Dataflow 如何协同工作以满足组织的数据处理需求
  • 总结 Beam Portability Framework 的优势，并允许您在 Dataflow 管道中使用它
  • 以最大性能的方式为批处理和流媒体管道启用Shuffle & Streaming Engine。
  • 实现灵活的资源规划，实现更具成本效益的性能

使用 Dataflow 进行无服务器数据处理：巴西葡萄牙语课程中的操作

  • 课程 2 • 9 小时

课程详情

学习内容

  • 对 Dataflow 管道进行监控、故障排除、测试和 CI/CD
  • 实施注重可靠性的 Dataflow 流水线，以最大限度地提高数据处理平台的稳定性

您将获得的技能

  • 类别： 近似误差
  • 类别： 图表
  • 类别： 回归
  • 类别： 因果关系

使用 Dataflow 进行无服务器数据处理：在巴西葡萄牙语课程中开发管道

  • 课程 3 • 18 小时

课程详情

学习内容

  • 在 Dataflow 系列课程的第二部分，我们将深入探讨使用 Beam SDK 进行流水线开发。我们先来概述 Apache Beam 中的基本概念。
  • 接下来，我们将讨论使用 Windows、Watermark 和 Triggers 进行流数据处理。
  • 我们将继续介绍管道中的源和目标选项、表达结构化数据的示意图，以及如何使用 State 和 Timer API 转换状态。
  • 让我们继续回顾最佳实践，以帮助最大限度地提高管道的性能。
  • 在课程结束时，我们将介绍 SQL 和 Dataframes 来表示您在 Beam 中的业务逻辑，以及如何使用 Beam 笔记本以迭代方式从管道进行开发。

您将获得的技能

  • 类别： 数据模型
  • 类别： 生产、转型和装载（ETL）
  • 类别： 分析
  • 类别： Mode （计算机科学）

相关产品