炼数成金 大数据存储
订阅

存储

聊聊磁盘I/O那些事
聊聊磁盘I/O那些事
计算机硬件性能在过去十年间的发展普遍遵循摩尔定律,通用计算机的 CPU 主频早已超过 3GHz,内存也进入了普及 DDR4 的时代。然而传统硬盘虽然在存储容量上增长迅速,但是在读写性能上并无明显提升,同时 SSD 硬盘价 ...
IndexR:最快的开源大数据存储格式
IndexR:最快的开源大数据存储格式
IndexR项目包括存储格式,实时入库模块,管理工具和对接其他系统如Hive,Drill等的插件。其中IndexR的存储格式是目前查询速度最快的On Hadoop格式,扫描速度是Parquet的2~4倍,在添加索引之后查询速度普遍提升十几倍 ...
2016年SSD全球销量排行榜:第一竟是它
2016年SSD全球销量排行榜:第一竟是它
虽然从去年年中开始,闪存颗粒制程问题的拖累,让原本发展迅猛的固态硬盘行业停下了脚步,但是在整体业绩上,固态硬盘行业在去年依旧实现了跨越式发展,特别是随着各大传统机械硬盘厂商的或关停或衰败,固态硬盘行业 ...
DeepMind用区块链系统挑战深度学习黑箱,数据可验证透明处理
DeepMind用区块链系统挑战深度学习黑箱,数据可验证透明处理
2016年7月,立志要在智能医疗上发力的 DeepMind 首次将机器学习用于纯粹医疗研究。——NHS 的 Moorfields眼科医院将向 DeepMind 提供100万份匿名的眼球扫描资料,后者被用来对机器学习算法进行训练,以便更好地发现 ...
IBM创造出世界上最小磁存储介质,只有一个原子大
IBM创造出世界上最小磁存储介质,只有一个原子大
在IBM圣何塞研究院工作的一个国、研究团队近日宣布,他们成功地创造了目前世界上尺寸最小的磁体-这个磁体仅由单个原子组成。在他们发表在《自然》杂志上的论文中,研究团队这样形容他们的成就:这是利用经典手段所能 ...
指尖大小芯片拷贝440亿份《魔戒》三部曲或将成为现实
指尖大小芯片拷贝440亿份《魔戒》三部曲或将成为现实
当计算机工程师宣称自己取得了惊人突破,可以将所占空间巨大的音乐库和电影库存储在手掌大小的设备中时,生物遗传学家马上泼来一盆冷水:跟自然界的能力比起来,这实在是太小儿科了。没错,论存储密度,没有什么设备 ...
存储130亿张图片的新平台:Flickr的Tripod架构详解
存储130亿张图片的新平台:Flickr的Tripod架构详解
Flickr 的传统架构用现在的眼光看起来可能有些老旧,但在社交网络出来之前可是学习互联网架构的经典,高可用小编当年也是拿着其架构图参阅领会,更多传统的 Flickr 架构可以参阅 。然而到了社交网络时代,已经很长时 ...
万亿级日志与行为数据存储查询技术剖析
万亿级日志与行为数据存储查询技术剖析
近些年,大数据背后的价值也开始得到关注和重视,越来越多的企业开始保存和分析数据,希望从中挖掘大数据的价值。大数据产生的根本还是增量数据,单纯的用户数据不足以构成大数据,然而用户的行为或行为相关的日志的 ...
外媒:机械硬盘未死 超高容量产品是其未来出路
外媒:机械硬盘未死 超高容量产品是其未来出路
据外媒报道,作为世界机械硬盘产品主轴电机(市场份额75%)的供应商,日本电产公司提升了去年第四季和今年第一季机械硬盘产量的预期。据悉,硬盘主轴电机的产量无论季度还是年度都有同比上涨。主轴电机产量的提升也预 ...
GitLab.com崩溃,rm -rf 删了300GB 数据;要命的是,备份失效
GitLab.com崩溃,rm -rf 删了300GB 数据;要命的是,备份失效
这家后起之秀声称发展势头迅猛,其云已跟不上形势,现在五个恢复工具已全部失效。源代码托管中心GitLab.com在数据遭遇丢失后崩溃,而数据丢失归咎于它突然发现备份的内容是无效的。太平洋时间周二晚上,这家初创公司 ...
全球闪存产业向新一代非易失性存储技术演进
全球闪存产业向新一代非易失性存储技术演进
作为半导体产业的风向标,存储器2015年全球收入达793亿美元,占据近四分之一的半导体市场。其中,闪存收入308亿美元,占存储器产业39%的份额。闪存性能远高于传统磁盘,在移动设备、服务器等领域渗透率不断提高。过去 ...
广电采集系统IO优化一例
广电采集系统IO优化一例
广电行业,涵盖由监管、电视台、制作公司、网络电视台等单位组成的产业生态。而广电行业的主要业务,业内有多种叫法,比如媒体云、全台网、融合生产等等,不管叫什么,整个流程都会涉及到采、编、播、管、存这几个步 ...
Raid4校验盘之殇
Raid4校验盘之殇
我们都知道Raid4系统时有独立校验盘的,也都知道Raid4并没有被广泛应用,而被Raid5取代了。但是鲜有人知道为何Raid4为何会被取代。Raid4的关键问题就在于它这块独立的校验盘,其产生了2个严重制约性能的问题:平时该 ...
这三种分布式存储文件系统你造吗?
这三种分布式存储文件系统你造吗?
随着云计算在全球范围内的高速发展,谷歌、亚马逊等企业的崛起,特别是"互联网+"深入融合背景下的业务云化需求,传统企业在数据中心建设中被动地徘徊在传统存储阵列与分布式存储两种体系存储架构之间。这两种存 ...
华为开源数据格式CarbonData项目,实现大数据即席查询秒级响应
华为开源数据格式CarbonData项目,实现大数据即席查询秒级响应
华为宣布开源了CarbonData项目,该项目于6月3日通过Apache社区投票,成功进入Apache孵化器。CarbonData是一种低时延查询、存储和计算分离的轻量化文件存储格式。那么相比SQL on Hadoop方案、传统NoSQL或相对ElasticS ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

热门文章

社区热帖

     

    GMT+8, 2018-10-21 04:59 , Processed in 0.103500 second(s), 16 queries .