机器扭碎,强力消磁还能恢复!数据中心年年升级,废弃“云垃圾”让谷歌头大

大数据文摘出品

作者:蔡婕、林安安、曹培信

今年7月1日,《上海市生活垃圾管理条例》正式实施,它被称为“史上最严垃圾分类措施”。

条例一出,这4种颜色的桶,就彻底改变了上海人民的生活。

但是一种新型的垃圾——“云垃圾”,可能大家都没有听说过。

其实“云垃圾”也是近几年刚刚出现的名词,是指提供云计算服务的数据中心由于设备升级而淘汰的各种老旧IT基础设施。

可能这一类垃圾普通家庭不会产生,离人们的生活也很远,但是可不要小瞧了这部分垃圾,这可是一个价值3000亿美元的巨大市场!

但是回收这种垃圾并非易事,由于涉及许多存有用户个人数据的硬盘,处理不当极有可能造成数据泄露!许多巨头科技公司正为此犯愁,甚至还催生了专门回收这种“云垃圾”的第三方公司。

全球废金属市场正将目光转向云计算设备回收

众所周知,我们现在处于一个数据爆发的时代,全球对于数据存储和云端计算的需求不断增长,大型数据中心的数量也随之激增。花旗集团的研究表明,自2015年以来,云基础设施投资大幅增长,预计今明两年数据中心相关设备的市场额度,平均年增长率约为16%。

然而,这些数据中心既是海量数据集中处理的场所,又是一个巨型的垃圾场

为什么这么说呢?企业网一篇报道就列过这样一组数据,一个中型数据中心一般拥有3000个左右的机架,一个机架可以放置10台服务器。

这样一个中型数据中心可以摆放30000台左右的设备,建筑面积可达2000平米,这些设备运行寿命一般五年。现在数据中心技术发展速度很快,很多设备不到五年就早早被淘汰掉了,淘汰下来的设备成了废弃物,变成了电子垃圾。

这意味着最早一批设备已经超出使用期限,变成了数量巨大的电子垃圾。而这种技术高速迭代的现状正创造一个新的市场——云回收。据估计,这个市场约有3000亿美元。

美国大型回收商Sims Metal Management Ltd.(Sims)和Electronic recycling International Inc.(ERI)就是其中的受益者。

数据中心的一些设备(如处理器、风扇等)能单独拆出来,在电子市场上转售。它们还含有铝、铜和钢铁等金属,而随着中国等大型经济体更多地依赖消费(而不是出口)推动经济增长,这些金属则变得更有价值。

Sims和ERI分别参与美国处理少量云计算材料回收试点,并预测未来几年的回收量将大幅上涨。贸易壁垒不断上升和大宗商品价格疲软冲击了企业利润,云回收也许就是这些回收商新的利润增长点。

在Sims位于伊利诺伊州西芝加哥的一个工厂里,工作人员正在检测和翻新笔记本电脑。图片来源:《华尔街日报》

可不只是拆了卖那么简单

2018年,亚马逊、微软和谷歌三家公司的年度资本支出总额超过600亿美元,较上年增长50%。这三家公司都运行超大规模的云计算网络和数据中心,并且都在不断升级和扩大。

被“云垃圾”难倒的科技巨头们

本着对敏感数据安全性的担忧,亚马逊、微软和谷歌这些科技公司巨头都对废弃设备的处理都持谨慎态度。

有些公司要求回收商在现场拆解服务器,并拍摄记录全过程;还有一些公司在废弃服务器运往废品场的途中,雇佣安保人员持枪保护。再加上业界在“再利用材料”的界定上有不同的意见,有些科技公司甚至要求将所有设备彻底粉碎和熔化,即便其中包含可再次利用的零部件。

谷歌将其数据中心比作一座座充斥着服务器、驱动器、路由器和其他组件的“小城市”,谷歌迫切希望能尽快回收和转售一些零部件,以免将其送进垃圾场,但可能被公众认为这会泄露用户数据,谷歌和亚马逊都拒绝对更新基础设施的计划发表评论。

Sims工厂里,工人正在检查电子设备。图片来源:《华尔街日报》

微软也对云基础设施组件的回收、翻新和转售付出了巨大的努力,试图使得整个过程更具可持续性、更安全。

澳大利亚上市公司Sims的首席执行官Alistair Field认为,数据中心回收交易业务将在12至18个月内出现,并在未来的几年内逐步完善。

他估计,从2025年开始,每年约有200万吨的废弃设备被拆解并回收。而对于专业的第三方回收公司需要做到哪些方面而言,Field说:“试点的关键在于如何管理整个过程,比如如何确保回收过程的每一步数据都是安全的?客户希望参与进哪些流程里?”

SSD硬盘就算被物理销毁,数据仍然可以被找到

如果企业决定采用物理销毁磁盘,那么SSD硬盘的销毁则会造成更多麻烦。

Blancco企业和云消除解决方案副总裁Fredrik Forslund指出:“即使 SSD硬盘被销毁,数据仍有可能被找到。”

虽然像Microsoft Azure和谷歌云这样的超大规模云计算供应商使用碎纸机处理驱动器(谷歌使用机器人自动化销毁),但这在传统的企业数据中心中很少见,费用也相当昂贵。

机器人在Google数据中心销毁硬盘,谷歌数据中心副总裁卡瓦在Google Cloud Next 2018的演示中展示,图片来源:谷歌

而且这么做还需要进行全程的审计跟踪,也就是说需要拍摄每个驱动器的序列号以及粉碎过程。另外,有一些担心安全性的企业试图使用具有强磁性的消磁器来擦除数据,而并不是物理损坏硬盘驱动器,但当今的硬盘外壳将会阻挡磁性,SSD硬盘的数据并不会受到消磁器的影响。

虽然雇佣第三方服务可以通过跟踪审计提供有效的物理破坏,但这会增加传输过程中保护驱动器的成本。“用户需要服务提供商安全地将硬盘驱动器运送到他们的设施,”Forslund说,“许多安全小组不会允许这样的运输。如果允许也有严格的要求,如由武装护送车辆进行运输,这需要很多钱,这也就是为什么大量使用过的硬盘驱动器成本高昂的原因。”

删除秘钥也并非万无一失

越来越多的企业也试图通过简单地删除密钥来消除硬盘的密码,因为这种方案既快速又简单。根据研究,64%的企业采取这一做法,这一比例在医疗和制药等受监管行业甚至更高。

然而Forslund警告说:“这不是一个万无一失的措施。用户需要一直对存储设备的数据进行加密,因为如果它随时打开,可能会出现数据泄漏。用户需要有一个更完善的系统来管理加密密钥。”

如果采取这种方式,验证和审核秘钥已被删除非常重要,即使硬盘驱动器的数据已被删除,并且管理工具将其标记为不可打开。但是只有在70%到80%的情况下,旧硬盘驱动器可以被删除到一个可审核的水平,这意味着部分数据仍然可以通过正确的工具从中恢复。

既是巨大市场,也是巨大挑战,“云垃圾”回收仍需慎重

2017年,联合国大学(United Nations University)、国际电信联盟(International Telecommunication Union)和国际固体废物协会(International Solid Waste Association)联合发布的一份报告表示,2016年,全球只有20%的电子垃圾得到了正确回收。

报告指出,尽管当前云计算技术可以提高设备的使用效率,比如一台设备就可以提供比以往更多的服务,但云计算需求不断增加意味着人们需要更多的数据中心,由此也产生更多的电子垃圾。

位于印第安纳州和马萨诸塞州的ERI回收工厂,目前采取的是人工清理电子垃圾,ERI的联合创始人兼执行董事长John Shegerian认为电子垃圾的数量会持续增加,他希望未来能将机器人运用到电子垃圾回收领域,同时ERI也正积极寻求新的合作伙伴。

每天,ERI的霍丽斯顿工厂都要粉碎约33吨阴极射线管电视机、6吨平板电视、7吨电脑,图片来源:造就

但是巨大的利润面临的最大的挑战则是数据是否会泄露的问题,以往的电子垃圾回收更多是个人的设备,既然决定卖掉,那么个人应该为自己的行为负责。但是现在一家存储着大量用户数据的公司如果考虑将这些设备卖掉,则不得不考虑数据泄露的风险。

稍有不慎,就会违反欧洲新数据法GDPR或加州消费者隐私法案CCPA。

而我国对于电子垃圾曾出台过《固体废物污染环境防治法》、《清洁生产促进法》等法律法规,但是更多针对的是电子垃圾污染环境的问题,而并没有涉及到里面包含的数据。

随着国内科技巨头的数据中心更新换代的日益频繁,在随之产生的“云垃圾”被回收的同时,如何确保数据受到完整保护,仍需要企业和政府慎重考虑。

相关报道:

https://www.datacenterknowledge.com/google-alphabet/robots-now-annihilate-hard-drives-google-data-centers
https://www.wsj.com/articles/scrap-metal-market-targets-the-cloud-as-its-next-recycling-project-11564401605
https://www.tenco-tech.com/news/3/189.html
Image placeholder
jun544
未设置
  41人点赞

没有讨论,发表一下自己的看法吧

推荐文章
初级,中级,高级开发者间的区别

初级,中级,高级开发人员不能仅仅通过开发年限来界定,可能存在初级开发人员比一个高级开发人员年龄大的现实。这时候只能依靠掌握的技能来做区分这三者。当然,这并不代表高级开发人员精于一切,但是,的确高级开

好马配好鞍 戴尔&AMD重塑数据中心基石

“当机关枪的射速是敌人几倍的时候,食堂伙食好不好,机枪手学历高不高,姿势对不对,这些都变得不重要了!”AMD中国区商用事业部销售总监周俊杰说。不用再怀疑AMD的回归如今,数据中心市场面临诸多挑战:对计

《Gartner 2019年数据中心网络魔力象限》报告解读

日前,Gartner发布了2019年数据中心网络魔力象限。此次报告从7个维度(产品或服务、总体生存能力、销售执行/定价、市场反应/记录、营销执行、客户体验和操作),来衡量12个入选企业,并基于前瞻性和

英特尔数据中心“全家福”助燃上海交通大学“π2.0”超算系统

前不久,英特尔推出了一系列以数据为中心的产品组合,包括第二代英特尔至强可扩展处理器、英特尔傲腾数据中心内存和存储解决方案、软件以及平台技术等,以帮助用户从数据中挖掘更多价值。笔者得知,上海交通大学“π

2019年度IT168技术卓越奖名单:数据中心类

光阴如梭,一年的工作转瞬又将成为历史,2019年即将过去,崭新的2020年即将来临。新的一年意味着新的起点新的机遇新的挑战,众多企业“决心再接再厉,更上一层楼”,努力打开新局面。作为读者们的老朋友,2

AI 计算竞争升级,参访平安科技背后的硬实力

平安科技的四块科技版图,分别是云、认知、区块链和人工智能。所有的AI公司在AI领域中最核心的壁垒不是技术,因为技术都是人创造的,打磨团队就可以。核心的壁垒应该时间、业务和场景。智能科技的涌现、大数据

PHP7.4 新特性和废弃的功能

PHP7.4新特性PHP7.4上月28号已经发布了。又带来了一些新特性。可以让我们的代码写的更少了。1.属性添加限定类型 4.数组解包使用展开运算符...解包数组。这个特性,应该又是从js那吸收过来的

可能是东半球最好的 Curl 学习指南,强烈建议收藏!

简介curl 是常用的命令行工具,用来请求 Web 服务器。它的名字就是客户端(client)的 URL 工具的意思。 它的功能非常强大,命令行参数多达几十种。如果熟练的话,完全可以取代 Postma

不论“云唯一”还是“无云”,都很糟糕

单纯说技术的好坏是不明智的,新技术与产业的融合也是一步一步慢慢来,不能走极端。DavidS.Linthicum是德勤咨询公司的首席云战略官,也是国际公认的行业专家和思想领袖。在近日的一篇文章中指出云战

Google 出品的 Java 编码规范,强烈推荐!

来源:google.github.io/styleguide/javaguide.html这是Google官方的Java编程风格规范。与其它的编程风格指南一样,这里所讨论的不仅仅是编码格式美不美观的问

Google 出品的 Java 编码规范,强烈推荐,既权威又科学!

这份文档是GoogleJava编程风格规范的完整定义。当且仅当一个Java源文件符合此文档中的规则,我们才认为它符合Google的Java编程风格。与其它的编程风格指南一样,这里所讨论的不仅仅是编码格

区块链+朵朵白“云”

前言:探索下一代的互联网基础架构,是突破行业增长瓶颈的重要战略方向。PPIO从云计算资源交易市场的角度来看,区块链能够从根本上解决中心化云的弊端。 生产力决定生产关系,当生产关系制约了生产力的发展,就

阿里云正式推出内容平台“云栖号”:全面助力企业和个人上云决策

1月7日,阿里云官网正式推出“云栖号”(https://yqh.aliyun.com/ ),旨在为大家提供第一手的上云资讯,云产品快速入门,来自不同行业精选的企业上云案例,基于众多成功案例萃取而成的最

Oracle 之利用BBED修改数据块SCN—-没有备份数据文件的数据恢复

测试环境 OS:redhat6.6 oracle:12.1.0.2  BBED(OracleBlockBrowerandEDitorTool),用来直接查看和修改数据文件数据的一个工具,是Orac

ZILLIZ AI数据中台:打破数据处理瓶颈,释放AI效能

在最近结束的第十届中国数据库技术大会(DTCC2019)上,ZILLIZ得到了众多专业评委的一致认可,获选为“2019中国数据库技术年度评选——年度创新企业”。这家成立于2016年的企业,凭借对技术发

2019年,数据中台为什么火了?

2019年,“数据中台”火了!一方面,过去一年BATJ、TMD等新老互联网巨头前后脚地发布重大消息,称集团层面正在推动以搭建中台为目标的组织架构变革,其中数据中台将是重要一环。而远在2015年就提出“

SACC2019:爱奇艺的大数据中台战略(附演讲实录)

  孙斌爱奇艺高级总监主要负责爱奇艺的大数据中台、商业智能、内容智能制作等业务。在互联网产品设计和研发方面有十多年经验,曾就职于微软、hulu、雅虎等公司。摘要:爱奇艺的业务已经从单一的视频业务发展为

AI 数据中台 Mega 及其应用

随着AI在各行业落地的进一步深化和应用数据量的飞速增长,越来越多的AI科学家痛苦地发现数据ETL、数据仓库和海量特征向量检索等数据处理流程花费了他们大量宝贵的时间和精力。AI数据中台Mega打破了人工

Oracle数据库不同损坏级别的恢复详解

墨墨导读:在DBA的日常工作中不可避免存在着数据库的损坏,本文将主要介绍Oracle数据库遇到不同损坏级别下的应该采用的恢复方法,供读者在遇到此类情景时,能的找到适合自己的恢复方法,提高工作效率。数据

浅析 PHP7 的垃圾回收机制

垃圾回收机制 垃圾回收机制是一种动态存储分配方案。它会自动释放程序不再需要的已分配的内存块。自动回收内存的过程叫垃圾收集。垃圾回收机制可以让程序员不必过分关心程序内存分配,从而将更多的精力投入到业务逻

程序员垃圾代码分类指南

上一篇文章《程序员垃圾分类图鉴》和大家聊了聊程序员的垃圾分类,有的程序员直呼太真实,有的程序员觉得太讽刺,不应该给程序员进行这样的分类。其实每个行业都会存在各种各样糟糕的情况,娱乐性的分类会将问题放大

咱们从头到尾说一次 Java 垃圾回收

⬆️图片来源于网络之前上学的时候有这个一个梗,说在食堂里吃饭,吃完把餐盘端走清理的,是C++程序员,吃完直接就走的,是Java程序员。🤔确实,在Java的世界里,似乎我们不用对垃圾回收那么的专注,很多

程序员垃圾分类图鉴

如今我国正大力推广垃圾分类作为一名奋斗在一线的程序员不禁让人想问这样一个问题:干垃圾 |装逼程序员2017年,微信群一段对话小D:微笑,你们公司使用的是什么技术?微笑:主要用的是PHP+Memcach

母延年:希望以后提到Lucene除了ES还能想到录信

在搜索领域你可能没有听过“录信”,但是一定听过Lucene。录信数软CTO母延年“‘录信’是‘Lucene’的谐音,我的Lucene发音不太准。”在刚刚过去的SACC2019大会上,录信数软CTO母延

四面受敌!ARM暂停与华为合作,芯片备胎计划还能执行么?

大数据文摘出品作者:周素云、蒋宝尚一波未平,一波又起,华为四面受敌。继谷歌限制华为的安卓服务后,当地时间5月22日,BBC报道英国芯片设计商ARM刚刚宣布暂停与华为合作!根据BBC获得的内部文件,AR