谷歌云敞开GPU算力狂飙AIGC的蛋糕没那么难分
跟着人工智能的飞速开展，尤其是大型 AI 模型、AIGC 的兴起，对 AI 算力产生了巨大的需求。以 GPU 为中心的算力供给，已经成为大模型、AIGC 乃至整个智能工业开展的要害根底设施。因而，关于有志于在大模型工业掘金的企业，寻找到适宜的算力协作同伴，是其开展事务的重要根底。那么，应该怎么挑选 GPU 算力协作同伴呢？
作为全球云核算巨子的谷歌云，在 GPU 算力供给方面有三大优势：算力供给足够，在全球首要区域都有 GPU 现货；能供给多款高端 GPU，包含 A100、L4 等；价格实惠，能帮用户节约超越 50% 的本钱。
进入 2023 年，ChatGPT 为代表的大模型运用以极快的速度渗透进各行各业，极大的添加了对 AI 算力的需求，“算力荒”现象日益凸显，乃至呈现 GPU“一芯难求”的窘境。全球各个互联网巨子、云厂商、AI 企业等都参加了抢购 GPU 的队伍，典型的如马斯克紧迫抢购 1 万块 GPU。就国内商场来看，国内云厂商具有超越 1 万枚 GPU 的企业估计不超越 5 家，但是有 GPU 算力需求的企业则早已超越 10 万家，且这个数据还在快速增长。快速胀大的算力需求，让云厂商的 GPU 算力供给绰绰有余。巨子的境况姑且如此，中小型 AI 企业尤其是创业公司的算力缺少现象则愈加严峻。
在这样的算力缺少环境中，具有很多 GPU 储藏的谷歌云无疑是一个很好的协作同伴。现在，谷歌云能够供给共 7 品种型的英伟达 GPU，包含 A100、L4、T4、V100、K80、P100、P4，可满意多样化的运用需求。
而且，谷歌云的 GPU 不只品种丰厚，供给才能也全球抢先。以 A100 GPU 的 A2 机型为例，谷歌云可掩盖亚太、欧洲、北美的 8 个 Region，15 个 zone；其他类型 GPU 则可掩盖 21 个 region，51 个 zone。关于有出海需求的企业，谷歌云可在全球为其供给足够的 GPU 算力供给，支撑其事务的全球化布局。
需求指出的是，要更好推进大模型、AIGC 工业的开展，GPU 不只要量足，还要质优，即不断提高 GPU 核算功能。谷歌云在供给先进 AI 算力方面，一向走在职业前列。2023 年 4 月 4 日，谷歌云首先发布业界首个由英伟达最新类型 L4 Tensor Core GPU 驱动的云虚拟机 G2，专为 AIGC 等大型推理 AI 作业负载而构建。
依据测算，假如从英伟达 T4 GPU 切换到 L4 GPU，能够取得 2 -4 倍的功能提高；经过从英伟达 A10G GPU 切换到具有 L4 GPU 的 G2 实例，用户能够节约 40% 的本钱。作为通用 GPU 产品，G2 实例还有助于加快其他作业负载，在 HPC、视频转码方面、模型练习和运用方面供给明显的功能改善。此外，谷歌云继续构建 HPC 云上解决方案，为用户的高功能核算事务供给汹涌的算力支撑。
无论是大模型的练习仍是推理运用，都反常的“烧钱”。以引爆商场的 ChatGPT 为例，其模型练习需求用到上万块 GPU，耗资上亿美元。此外，在其日常运营过程中，据半导体研讨公司 SemiAnalysis 的首席分析师 Dylan Patel 测算，ChatGPT 每天的运营本钱估计高达 70 万美元。依据国盛证券发布的《ChatGPT 需求多少算力》陈述，练习一次大模型的本钱介于 200 万美元至 1200 万美元之间，这关于大模型、AIGC 创业公司以及其他 AI 运用公司而言，是一个不行忽视的门槛。
为了推进 AI 运用尤其是大模型运用的开展，谷歌云在下降 GPU 算力本钱方面做了很多的作业，能够协助用户大幅节约算力本钱。
那么，谷歌云是怎么完成如此大幅度的本钱节约的呢？详细来看，谷歌云经过自定义实例规范、Spot 实例选用、多种扣头形式等方法，来协助客户下降算力本钱。
与其他云厂商将 GPU 与云主机进行了封装和绑定不同，谷歌云以直通形式将 GPU 供给给用户，以便用户直接操控 GPU 及其相关的内存，也完成了 GPU 与 Compute Engine 解耦。除了 A100 和 L4 系列外任何类型的 GPU，均可与 N1 系列的一切规范进行自定义调配，可完成高达 96vCPU、624GB 算力内的恣意挑选，灵敏满意不同规划用户的需求。
谷歌云除 A2 与 G2 以外装备 GPU 的云主机，均能够自定义实例规范，使得用户能够依据实践需求来定制 CPU 和内存的规范。用户在进行算力挑选时，不局限于比率，也不用挑选超越实践需求的较高规范，然后防止额定费用。
谷歌云供给 Spot 实例选用服务，Spot 虚拟机运用过剩的 Compute Engine 容量，供给与惯例核算实例相同的机器类型、选项和功能。Spot 是一种合适批处理作业和容错作业负载的核算实例，关于 Stable Diffusion 类可容错型运用，能够接受或许的实例抢占，运用 Spot 虚拟机能够节约高达 91% 的费用。
为了进一步下降用户的算力本钱，谷歌云还为用户供给多种扣头形式。详细来看，谷歌云推出继续运用扣头、依据资源的许诺运用扣头、灵敏许诺运用扣头三种形式，三种形式均无需预付，而且能够叠加运用。
继续运用扣头形式下，Compute Engine 为运用时间超越结算月份的 25% 且未取得任何其他扣头的资源，供给继续运用扣头 (SUD)，该扣头跟着运用量的添加而添加。关于运转整个月的虚拟机实例，经过继续运用扣头能够取得高达 30% 的资源本钱净扣头。
关于 Compute Engine，虚拟机实例在购买 1 年期或 3 年期的许诺后，谷歌云还供给依据资源的许诺运用扣头、灵敏许诺运用扣头两种方法。
依据资源的许诺运用扣头（或依据资源的 CUD），适用于资源运用量安稳、可猜测的用户和场景，该扣头适用于 vCPU、内存、GPU、本地 SSD、单租户节点和软件答应。经过依据资源的许诺运用扣头，用户的硬件最高可取得 70% 的扣头，软件最高可取得 79% 的扣头。
Compute Engine 灵敏许诺运用扣头，依据开销金额的 CUD，灵敏 CUD 不约束该 Cloud Billing 帐号内的项目和区域，适用于任何通用和核算优化机器类型的 vCPU 和内存。经过灵敏许诺运用扣头，用户 1 年期许诺的每小时开销金额可享受 28% 的扣头，3 年期许诺的每小时开销金额可享受 46% 的扣头。
企业客户能够归纳运用谷歌云供给的各种优惠战略，来下降其算力本钱。据测算，相关于商场上其他云厂商供给的同类 GPU 产品，谷歌云供给的 GPU 服务价格遍及要低几十个百分点。例如，谷歌云的 A100 80GB 产品同比廉价 22%；A100 40GB 产品同比廉价 28%；T4 产品同比廉价 47%。此外，谷歌云还独家供给 L4 产品，而且也保持了超低价格。
此外，谷歌云的 Compute Engine 会依据 Cloud Monitoring 在曩昔 8 天中搜集的体系目标，主动生本钱钱优化主张，用户能够选用这些主张来调整实例机器类型的容量，协助优化虚拟机实例的资源利用率，将本钱优化做到极致。
以谷歌云的某客户为例，据测算，依据谷歌云的本钱节约战略，该客户全体可节约 58.1% 的本钱。其间，经过 Spot 实例可节约 18.3% 的本钱，经过自定义机型可节约 10% 的本钱，经过许诺运用扣头可节约 21.4% 的本钱，经过继续运用扣头可节约 8.4% 的本钱。
值得指出的是，除了上面说到的本钱节约战略外，用户还可经过 WebEye 得到专属 GPU 算力购买扣头，取得比谷歌云官网更优惠的价格。
WebEye 作为业界抢先的数据智能企业，可为客户供给多样化的公有云及其生态资源服务，包含上云咨询、云搬迁、运维保管、云转售等。WebEye 是我国大陆区域首先取得 Google Cloud Managed Service Provider（MSP）资质的协作同伴，并取得 2021 Google Cloud 年度最佳打破同伴奖。
为了进一步下降算力本钱，使得更多的企业和研讨机构有才能参加到 AI 的开发和运用中来，推进 AI 技能的遍及和运用，WebEye 与谷歌云携手协作，经过 WebEye 能够取得更优惠的价格。
例如，经过 WebEye 购买谷歌云资源，A2 规范机器类型的 SPOT 价格低至 1.1 美元 / 小时、A2 Ultra 机器类型价格低至 1.58 美元 / 小时、G2 规范机器类型价格低至 0.21 美元 / 小时；NI 规范器类型价格低至 0.13 美元 / 小时。
TGO 鲲鹏会是极客邦科技旗下科技领导者同侪学习渠道，学员由具有技能布景的 CEO、CTO、技能 VP、架构师等组成，合计约 1700 位 ，在北京、上海、深圳、广州、杭州、成都、南京、厦门、武汉、姑苏、台北、硅谷、新加坡等区域定时举行学习活动。
TGO 鲲鹏会选用了“学员共建”的组织形式，期望经过“共建、自治”的方法保护各城市的健康开展，为学员供给必要的服务，协助学员个人更好地学习和生长，助力学员企业之间更好地协作与沟通。参加 TGO 鲲鹏会，全方位提高本身价值，成为杰出科技领导者！