在线课程 – Google Cloud Institute 无服务器数据处理的认证专家专业化

使用先进技术和定制解决方案进行可扩展的大数据应用程序开发。

Suggested by: Coursera (What is Coursera?)

Professional Certificate

开始

No prior knowledge required

Time to complete the course

7-day free trial

No unnecessary risks

Skills you will acquire in the course

  • Aproxima 错误
  • 因果关系的确定
  • 数据模型
  • 支出、转换和加载 (ETL)
  • 分析学
  • 模式 (CS)

What you will learn in the course

Courses for which the course is suitable

  • 大数据开发人员
  • 数据工程师
  • 数据分析师
  • 数据项目经理
  • Google Cloud 专家
  • 数据处理应用程序开发人员
  • 信息系统经理
  • 数据解决方案专家 (Data Solutions Specialist)

专业化 – 3 门课程系列

随着对数据驱动型业务的需求增长,使技术保持最新变得越来越困难。大数据领域的所有专业人士都熟悉大数据的三个 V:数量、速度和多样性。如果有一种不怕限制的技术,旨在满足这些要求,那会怎样?

认识 Google Cloud Dataflow。Google Cloud Dataflow 通过统一批处理和流式处理来简化数据处理,提供无服务器体验,使用户能够专注于分析而不是基础架构。此专业化课程适用于希望提高对 Dataflow 的了解以推进其数据处理应用程序的客户和合作伙伴。

该专业包括三门课程:

  • 基本
    – 介绍了 Apache Beam 和 Dataflow 如何在不依赖服务提供商的情况下协同工作来满足数据处理需求。
  • 路线开发
    – 这是关于如何将我们的业务逻辑转换为可以在 Dataflow 上运行的数据处理应用程序。
  • 行动
    – 谁介绍了在 Dataflow 中管理数据应用程序的最重要课程,包括监控、问题排查、测试和可靠性。

实践学习项目

此专业包括使用 Qwiklabs 平台的动手实验。这些实验基于在课程模块中学到的信息。需要时,实验室的 Java 和 Python 中提供了版本。对于需要添加/更新代码的实验室,我们提供了推荐的解决方案供您使用。

Details of the courses that make up the specialization

使用 Dataflow 进行无服务器数据处理:基础知识

课程 1 • 3 小时

课程详情

您将学到什么:
  • 演示 Apache Beam 和 Cloud Dataflow 如何协同工作以满足您组织的数据处理需求。
  • 总结 Beam Mobility Framework 的优势,使其能够与数据流管道一起运行。
  • 运行Shuffle & Streaming Engine进行数据处理管道,无论是批处理还是流式处理,以最大化性能。
  • 实现灵活的资源规划,实现更具成本效益的性能。

使用 Dataflow 进行无服务器数据处理:管道开发

课程 2 • 18 小时

课程详情

您将学到什么:
  • 在 Dataflow 系列课程的第二部分中,我们将借助 Beam SDK 深入分析流水线开发。我们先来概述 Apache Beam 概念。
  • 接下来,我们将了解使用 Windows、watermark 和 triggers 进行 flow 中的数据处理。
  • 接下来,我们将介绍管道中的源和接收器选项、可以内置的数据表达式架构,以及如何使用 State API 和 Timer 执行状态转换。
  • 接下来,我们将回顾转换管道性能的良好方法。
  • 在课程结束时,我们将介绍 SQL 和 Dataframes 来表示您在 Beam 中的业务逻辑,以及如何使用 Beam 笔记本以迭代方式开发管道。
您将获得的技能:
  • 类别: 数据模型
  • 类别: 提取、转换和加载 (ETL)
  • 类别: 分析
  • 类别: Mode (计算机科学)

使用 Dataflow 进行无服务器数据处理:操作

课程 3 • 9 小时

课程详情

您将学到什么:
  • 在 Dataflow 管道中执行监控、问题排查、测试和 CI/CD 操作。
  • 在实施 Dataflow 流水线时要考虑到可靠性,以最大限度地提高数据处理平台的稳定性。
您将获得的技能:
  • 类别: 接近误差
  • 类别: 图表
  • 类别: 回归
  • 类别: 因果关系