数据中心是一幢配备永久操作计算机的大楼. 人工智能可以动员处理器,内存和快取网络,既可以学习,也可以响应用户. 在电话交谈后,我们需要为这些机器提供动力,移动数据并疏散热量. 这就是问题和答案之间的真正关系.
当用户要求AI对文档进行总结时,其手机主要可以充当屏幕和访问点. 在远程主机服务中,请求会加入服务器. 他们执行模型,然后返回结果。 这些服务器位于一个或多个数据中心,一般被称作 »数据中心 ».
这栋大楼和它居住的电脑一样重要。 强大的芯片如果缺乏动力,过热或等待饱和网络上的信息,就会变得无法使用. 因此,数据中心的实际容量取决于整个链条。 累积昂贵的加速器不足以产生快而可靠的服务.
一个数据中心将计算、存储和网络汇集在一起
内部,服务器往往采取被堆放在被称作 »海湾 »的柜子上,或 »架子 »的形式. 每台机器结合处理器,内存和网络接口. 有的运行应用程序,有的管理数据库或保存文件. 储存设备保存文件、图像、软件和备份.
开关和路由器在这些机器和外向之间传递信息. 光纤将中心与运营商网络连接. 在一个在线商务应用程序中,几个服务器可以介入显示目录,识别客户端并注册订单. 数据中心早在对话助理之前就已经存在.
一个中心可能属于一个为了自己的需要而使用它的公司. 在同地办公中,一个供应商提供空间,电力,冷却和连通性;客户在那里安装自己的设备. 与云一起,用户租用计算机资源或服务,而不选择每台机器. 因此 »云 »以实际设施为基础,在某地运营和维护.
国际投资协定为什么使用GPU
中央处理器,或称CPU,仍然是驱动程序和许多一般操作所必需的. 但是神经网络在数字表上做了大量的计算. 最初为图形所开发的GPU可以同时进行大量的操作. 它们特别适合这些重复治疗. 其他专业加速器,如Google的TPU,也履行这个功能.
这种特长改变了房间的布局. 例如,Nvidia将其GB200 NVL72系统描述为由72个GPU Blackwell和36个CPU Grace组成的海湾. 组件通过快速互联进行通信,组装使用液体冷却. 该产品说明了部分AI设备实现的集成程度. 它并不代表所有数据中心,其中许多中心仍然托管传统服务器.
记忆是另一个制约因素。 模型的参数,这些在学习过程中调整的数字,必须可供计算. 中间结果也必须维持。 一个模型可以超过单个加速器的内存容量:然后作品被分到几个芯片上. 贸易流动变得与每一股力量一样重要.
培训一种模式:工作机器合用
培训从数据建立模型能力。 对于一种语言模型,一个经典的任务是预测一个文本的延续. 系统产生一个估计,测量它的错误,然后调整它的参数. 他在许多例子中重复了这一进程。 因此,学习涉及计算,但也涉及读取和准备数据.
为了加速工作,多台机器可以处理数据集的不同部分. 然后,它们必须分享更新模型所需的信息。 另一种方法在几个加速器之间直接分配出一个太大的模型. 这些办法可以结合起来。 分布式计算工具,包括PyTorch,组织这种合作并同步结果.
因此,内部网络不仅被用来接受公众的提问。 它可以让机器一起构建模型. 如果他们花太多时间等待邻居,一些设备仍然没有得到充分利用。 存储还必须跟上速度:没有数据的GPU没有再工作,因为它们是较新的.
经营者定期维持中级培训状态。 这些备份允许您在崩溃后恢复,而不重复整个计算. 它还必须检查模型的质量:一个更大的基础设施可以增加可用的手段,但不能保证良好的数据或公平的答案.
推断,每种用途所做的工作
一旦经过训练,模型就可以被使用:这个阶段叫做推论. 在图像上识别物体、翻出句子或写出答复就是推论的例子。 一个模型的普通使用不会自动地改变它的参数. 今后利用交易所进行新培训的可能性是单独的服务程序和规则.
对于文本助理来说,请求被转换成称为 »符号 »的单位. 一个符号可以对应一个词,一个词片段或一个符号. 模型处理上下文并逐渐计算出反应. 在自递性语言模型中,已经出产的活字符号用于确定以下内容. 因此,长的答案需要比短的答案更多的步骤,所有其他事情都是平等的.
软件将一些中间表示保存在缓存中以避免重复同样的计算. 此速度增益使用内存. 随着同时对话的背景和次数的增加,这一资源也算数。 运算器还集合请求,以便更好地使用加速器,同时限制每个用户的期望.
培训是一项以建立模式为重点的行动。 然后对每种用途重复推论。 单项请求的计算远低于全面培训,但数百万项请求是一项长期活动。 广泛使用的服务必须具备峰值能力,而不仅仅是日均.
答案不一定是互联网搜索
一个模板可以从提供的参数和上下文中生成文本,无需查阅Web. 当一个助手搜索最近的信息时,会使用其他组件:搜索引擎,文件数据库,恢复工具和验证程序. 所获得的文件将按其背景转交该模式。 这一机制并不意味着整个系统立即得到再培训.
因此,应用程序的路径可以结合几个步骤:检查访问权限,找到文档,运行模型并保存结果. 这些行动不一定在同一台机器上或同一建筑物内进行。 失败会影响其中的一个步骤而不停止所有服务器.
还有一个本地的AI,用计算机,电话或工业设备执行. 它可以在不向远程中心发送每个数据的情况下工作,这取决于应用程序. 模型的大小,可用的内存和所寻求的响应时间决定了选择. 因此,大型数据中心并非对AI的所有用途都是必不可少的,但它们允许分享相当大的权力.
电力成为运营条件
设备通过变压器、电板和配电系统获得电力。 颠倒剂可确保某些扰动期间的连续性。 应急装置根据站点的建筑结构接管. 冷却也必须保持运作:在不消除服务器热能的情况下保持服务器的供电是不够的.
国际能源机构在其2026年的报告中估计,2025年数据中心的全球电力消耗为485千兆瓦时. 它预测2030年大约950千兆瓦时,约占全球电力需求的3%. 第二个数字是预测,而不是已经观察到的消费量。 第一个涵盖所有数据中心,而不仅仅是AI.
还有必要区分出动力和能量。 以100兆瓦宣布的项目说明电力能力或需要,必须具体说明其周长。 为了计算的目的,持续100兆瓦24小时的负荷将消耗2 400兆瓦小时。 这不能证明如此规模的广告网站已经奏效,也不能永久地使用其所有能力.
凉爽的芯片,没有混淆的线路和水消耗
计算机设备所消耗的电力大多以发热而告终. 设施必须转移到外部。 在空气系统中,风扇在服务器周围循环空气. 这种布局将冷热相分出来,避免了对两者的混合物不必要的冷却.
使用非常密集的芯片,液体可以通过冷却板来捕捉接近组件的热量. 这种热能随后会加入交换机和建筑系统. « 液体冷却 »并不意味着水在每次通通后都会被系统放出. 内部回路可以在闭环中运行,而外接设备则使用蒸发或不蒸发.
蒸发塔会消耗水来消散热量. 其他系统侧重于外部空气、气候和设备限制。 因此,为了比较两个项目,有必要审查它们的实际用水量、供应来源和季节。 仅有的GPU数量没有计算出这种影响.
欧盟的措施和留下的措施
一项共同指标,即EUP,将中心消耗的能源总量报告给其信息技术设备。 PUE为1.2,意味着这些设备每使用100个能单位,该站点总共消耗120个能单位. 新增20个机组包括冷却和电气损失. 这是计算的例子,而不是普遍平均数.
欧盟政策衡量支助基础设施的有效性。 它没有说服务器是否进行有用的工作,模型是否高效,或电能是否为低碳. 一个有效的中心如果能大大增加其活动,其消费总量可以增加。 要判断AI服务,您还必须查看所制作的作品,所使用的材料以及电流的来源.
成本取决于使用, 不只是建筑物
业主为土地、建筑、连接、电气设备和机械提供资金。 在操作中加入能量,网络,维护和团队. 专用设备为资本,必须充分使用,使服务在经济上可行。 执行速度并不能单独解决这个问题.
对于客户,发票可以包括机器的租期,存储量或使用API. 在后一种情况下,供应商可以收取已加工的活品和产品的费用。 这种商业关税并不直接给予需求用电量. 所选择的模型,上下文的长度,要求的工具和附加的计算会改变实际的工作.
这增加了计算的必要性,但主要需要操作员协调好几种资源. 新房间不会仅仅因为服务器已经交付而进入服务. 电气接通,网络,冷却和运行测试必须同时做好.
评论