炼数成金 大数据存储
订阅

存储

为什么现在的监控系统容易硬盘坏?
为什么现在的监控系统容易硬盘坏?
电脑不能强制关机,否则会损坏硬盘——相信这是很多人关于电脑使用的最初认知。在如下所示的例子中就有多次强制断电,从而导致存储硬盘严重损坏、难以恢复的情况发生。那么,强制断电为何会导致硬盘数据丢失?一般来 ...
硬盘数据恢复的十大神器
硬盘数据恢复的十大神器
因为众所周知的原因:硬盘总是坏!但是嘛,其实硬盘数据恢复也是那么难,一起来看看!在一切工作进行之前,请先判断硬盘是否有损坏,以及缺损类型,而往往硬盘出现问题主要集中下以下两个方面:物理(驱动器故障或者 ...
4节点近160万IOPS:SDS/超融合测试不能只看数字
4节点近160万IOPS:SDS/超融合测试不能只看数字
简单来说,早期磁盘阵列IOPS受限于HDD机械硬盘的平均访问时间,到了SSD时代介质的瓶颈相对容易解决。我给出的参考值不能充分代表所有厂商,也并不是每家厂商都积极参与SPC-1这样的军备竞赛,因为性能不是存储的全部 ...
一文读懂Apache Kudu
一文读懂Apache Kudu
Apache Kudu是由Cloudera开源的存储引擎,可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展,使用Raft协议进行一致性保证,并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工 ...
分布式数据库的存储设计改进
分布式数据库的存储设计改进
为什么 hdfs 的 namenode 没有存储块的对应节点信息,导致启动 hdfs 的时候,datanode 需要扫描所有的数据块,再将该 datanode 上的块信息发送给 namenode,namenode 才能构建完整的元数据信息。根据文件和数据块的 ...
聊聊磁盘I/O那些事
聊聊磁盘I/O那些事
计算机硬件性能在过去十年间的发展普遍遵循摩尔定律,通用计算机的 CPU 主频早已超过 3GHz,内存也进入了普及 DDR4 的时代。然而传统硬盘虽然在存储容量上增长迅速,但是在读写性能上并无明显提升,同时 SSD 硬盘价 ...
IndexR:最快的开源大数据存储格式
IndexR:最快的开源大数据存储格式
IndexR项目包括存储格式,实时入库模块,管理工具和对接其他系统如Hive,Drill等的插件。其中IndexR的存储格式是目前查询速度最快的On Hadoop格式,扫描速度是Parquet的2~4倍,在添加索引之后查询速度普遍提升十几倍 ...
2016年SSD全球销量排行榜:第一竟是它
2016年SSD全球销量排行榜:第一竟是它
虽然从去年年中开始,闪存颗粒制程问题的拖累,让原本发展迅猛的固态硬盘行业停下了脚步,但是在整体业绩上,固态硬盘行业在去年依旧实现了跨越式发展,特别是随着各大传统机械硬盘厂商的或关停或衰败,固态硬盘行业 ...
DeepMind用区块链系统挑战深度学习黑箱,数据可验证透明处理
DeepMind用区块链系统挑战深度学习黑箱,数据可验证透明处理
2016年7月,立志要在智能医疗上发力的 DeepMind 首次将机器学习用于纯粹医疗研究。——NHS 的 Moorfields眼科医院将向 DeepMind 提供100万份匿名的眼球扫描资料,后者被用来对机器学习算法进行训练,以便更好地发现 ...
IBM创造出世界上最小磁存储介质,只有一个原子大
IBM创造出世界上最小磁存储介质,只有一个原子大
在IBM圣何塞研究院工作的一个国、研究团队近日宣布,他们成功地创造了目前世界上尺寸最小的磁体-这个磁体仅由单个原子组成。在他们发表在《自然》杂志上的论文中,研究团队这样形容他们的成就:这是利用经典手段所能 ...
指尖大小芯片拷贝440亿份《魔戒》三部曲或将成为现实
指尖大小芯片拷贝440亿份《魔戒》三部曲或将成为现实
当计算机工程师宣称自己取得了惊人突破,可以将所占空间巨大的音乐库和电影库存储在手掌大小的设备中时,生物遗传学家马上泼来一盆冷水:跟自然界的能力比起来,这实在是太小儿科了。没错,论存储密度,没有什么设备 ...
存储130亿张图片的新平台:Flickr的Tripod架构详解
存储130亿张图片的新平台:Flickr的Tripod架构详解
Flickr 的传统架构用现在的眼光看起来可能有些老旧,但在社交网络出来之前可是学习互联网架构的经典,高可用小编当年也是拿着其架构图参阅领会,更多传统的 Flickr 架构可以参阅 。然而到了社交网络时代,已经很长时 ...
万亿级日志与行为数据存储查询技术剖析
万亿级日志与行为数据存储查询技术剖析
近些年,大数据背后的价值也开始得到关注和重视,越来越多的企业开始保存和分析数据,希望从中挖掘大数据的价值。大数据产生的根本还是增量数据,单纯的用户数据不足以构成大数据,然而用户的行为或行为相关的日志的 ...
外媒:机械硬盘未死 超高容量产品是其未来出路
外媒:机械硬盘未死 超高容量产品是其未来出路
据外媒报道,作为世界机械硬盘产品主轴电机(市场份额75%)的供应商,日本电产公司提升了去年第四季和今年第一季机械硬盘产量的预期。据悉,硬盘主轴电机的产量无论季度还是年度都有同比上涨。主轴电机产量的提升也预 ...
GitLab.com崩溃,rm -rf 删了300GB 数据;要命的是,备份失效
GitLab.com崩溃,rm -rf 删了300GB 数据;要命的是,备份失效
这家后起之秀声称发展势头迅猛,其云已跟不上形势,现在五个恢复工具已全部失效。源代码托管中心GitLab.com在数据遭遇丢失后崩溃,而数据丢失归咎于它突然发现备份的内容是无效的。太平洋时间周二晚上,这家初创公司 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-3-23 18:16 , Processed in 0.130204 second(s), 16 queries .