最新网址：www.00sw.cc
加入书架
| 推荐本书
| 返回书页|手机阅读
00书屋 -> 都市小说 -> 都市之科技之门-> 第十章 大数据模块
换源:
第十章 大数据模块
- 第十章大数据模块
垃圾文件的确需要清理，只是如何辨别垃圾文件是一个很大的问题，陈宇需要好好的学习和整合一下！
这是一个很大的工程，毕竟处理的不是一两个，而是自动识别而且进行处理！
数据永远不可能爬完，因为时时刻刻都有新的数据产生，那么伴随而来的就是新的垃圾！
关于数据垃圾的处理，分为很多种，表层清理、深度清理！
等等各种东西都会出现，陈宇则是在这一块头疼。
查了一下资料，发现网络资料很不健全，看来只能去大学的图书馆或者是国家图书馆查阅资料了。
最重要的是电脑上看这些资料太繁琐！
“嫣儿，现在人人网的注册用户有多少?!”陈宇此时关注起来发布了一段时间的人人网，搞了一个病毒式的推广，也不知道现在结果如何了？！
“注册用户国内有320多万，国外有480多万，这个数字还在攀升！你可以通过你设计的后台查看一下具体什么情况？！还有一些组件和功能你需要更新了！”嫣儿轻声道！
陈宇闻言点点头，连接上人人网的网站，后台数据当初设计的时候因为太急，没有用心，现在看起来很混乱，但是仔细看的话还是可以看得清楚的。
“后台还是需要重新设计啊！”陈宇轻叹一声，开始对后台进行重新设计起来，数据库的属性也需要变更一些，不过好在陈宇早有准备，直接用版本覆盖之前的数据，当然这不是删除，是覆盖。
这一次陈宇加入了大数据分析的设计！
这里面涉及很复杂的算法！
Hadoop是一个能够对大量数据进行分布式处理的软件框架！他的性能还是和牛逼的，可以处理pb级别的数据！
还有hpcc技术！还有其他的各种技术！
十分驳杂！
大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统等等全部都属于大数据的范畴之内，不过陈宇目前要做的就是对于大规模并行处理的数据进行设计和分析。
足足两天的时间，陈宇都呆在房间里，用着2789元配置的一台台式机进行大数据模块的设计！
“终于完成了！”陈宇看着运行监测无误的后台，吐了一口气，道！
连续两天的战斗让陈宇很疲惫，起身，伸了一个懒腰，都能够感受到骨骼的噼里啪啦的响！
“嫣儿，进行测试分析，我设计的这一个模块如何？！”陈宇心中道了一句，便走下楼，打开冰箱，取出一块老冰棍，含在嘴里。
那透心凉的滋味真的是让人飘飘欲仙！
“嫣儿也想吃？！”
听着嫣儿羡慕的语气，那甜甜的声音，陈宇心里感到一阵舒爽，道“不是我不给你，而是没法给你啊！”
陈宇看着可怜兮兮的嫣儿道。
“呜呜呜呜~”
陈宇“····”
玩笑之后，陈宇还是问到了大数据模块的设计问题。
“你设计的这一个模块有一个很大的问题，兼容性和扩展性太差了！主人，你好歹也是一个掌握神级java技能的人，大数据这设计的简直是惨不忍睹啊！”嫣儿的打趣陈宇顿时无奈，有些小尴尬！
“我又不是架构师，我会的是技术，再说我也没想那么多啊，你有什么好的建议没有？！”
陈宇开始帅锅！
但是嫣儿直接无视，道“建议就是回炉重造，你需要仔细思考一下，如果你只是简简单单的这一段时间够用，那是可以，但是你后期返工的时间却是很麻烦的！”
“哎~”陈宇叹了一口气，心道“我就知道！”
兼容性和扩展性的设计真的很难，因为这就相当于定标准了！
陈宇很无奈，但是又不得不去做，不过在开始之前，陈宇开始学习一下架构的设计、可兼容性等等资料！
一个星期左右，陈宇终于完成了二次设计的大数据方面的内容！
一个星期的时间看似很短暂，但是陈宇在这期间其中四天的时间在了解兼容性和延展性的真正概念，在设计的时候基于之前的设计，很顺利！
“这次没有问题了吧？！”陈宇有些忐忑的问了一句！
心中真的很害怕嫣儿再次来一句“回炉重造！”
“嗯嗯，这次要好很多，有12个不稳定的地方你修改一下！”嫣儿道，随后陈宇找到嫣儿知名的不稳定的地方，一开始并没有感觉不稳定，但是慢慢地发现还真是不稳定，这是测试之后发现数据有很小的几率出现异常！
二话不说，改！
如何改，陈宇自己决定，嫣儿不提供技术支持！
十二处不稳定的地方修改之后，陈宇再次进行测试，发现要比之前稳定性提升不少，效率方面也有了一些提升！
再三确认没有问题之后，陈宇将这一个模块加上去，至于之前的模块给覆盖了，陈宇没有删除！
做开发的都知道，数据是绝对不能轻易做删除处理的，要想删除，直接覆盖！
这是最好的方式！
因为数据删除是真的删除了！
更新之后的模块看起来很舒服，而且需要的数据一目了然！
人人网的功能很简洁，设计也不错，但是用户还是太少，陈宇需要大量的用户，就要做出有效的推广！
最快最好的推广，就是游戏了！
当然还有其他的服务！那就是视频和音乐！
此时音乐和视频陈宇可以说拥有全球所有资源，不管是正版的还是盗版的资源全部都有！
“嫣儿，现在音乐一共12亿多首，其中很多音乐都是粗制滥造的，真正的好音乐也不过是几十分之一，你说我有必要把这些粗制滥造的音乐删除掉或者屏蔽掉吗？！”
陈宇想了一下问道，这些都是没有版权的，在国外肯定会被告，但是陈宇不在乎，因为陈宇会给钱，而且给的钱很少。
钱给不给是我的事情，你要不要是你的事情，至于嫌弃价格低？！那是你的事情不是我的事情，反正你找不到我的服务器！
这种无赖的想法陈宇也是不得以而为之，因为没钱，在国外想搞的话，版权费都付不起！
$(".nodeContent").last().addClass("halfHidden2");setTimeout(function(){$(".nodeEnd").last().before("点击继续阅读本小说更多精彩内容,接着读