360大数据平台.pptx

上传人:p** 文档编号:267755 上传时间:2023-04-21 格式:PPTX 页数:12 大小:972.98KB
下载 相关 举报
360大数据平台.pptx_第1页
第1页 / 共12页
360大数据平台.pptx_第2页
第2页 / 共12页
360大数据平台.pptx_第3页
第3页 / 共12页
360大数据平台.pptx_第4页
第4页 / 共12页
360大数据平台.pptx_第5页
第5页 / 共12页
360大数据平台.pptx_第6页
第6页 / 共12页
360大数据平台.pptx_第7页
第7页 / 共12页
360大数据平台.pptx_第8页
第8页 / 共12页
360大数据平台.pptx_第9页
第9页 / 共12页
360大数据平台.pptx_第10页
第10页 / 共12页
亲,该文档总共12页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述

《360大数据平台.pptx》由会员分享,可在线阅读,更多相关《360大数据平台.pptx(12页珍藏版)》请在第壹文秘上搜索。

1、360大数据平台介绍 360大数据规模&能力 大数据服务器规模超过30000台 总存储数据量接近1EB,每天新增超过1PB 每天各种数据计算任务10万个,每天处理数据量10PB 具备一分钟内调动几十万颗CPU核参与计算能力 具备一秒钟处理1TB数据能力 360大数据技术路线 利用最廉价的PC服务器+开源/自主开发软件构建而成 数据的可靠性,扩展性全部自主可控,成本不到IOE方案的1/100 360大数据业务(搜索 广告 杀毒 语音图像识别) 360大数据架构图产品计算存储机器学习平台实时计算平台M/R计算平台文件存储平台表格存储平台对象存储平台搜索安全广告语音图像底层云主机内核硬件流式计算平台

2、块存储平台 HBase平台(HDFS, M/R) 运行全球最大的HBase集群之一(3K节点) 存储记录总条数达到100万亿条 增加索引引擎,满足关系型数据库查询需求 增加搜索引擎,对存入平台的所有数据支持字符检索 Cassandra平台 Cassandra集群总规模全球第一(超过10K节点) 增加数据备份,数据冗余EC方案,索引等一系列功能 修复BUG无数,稳定性经受住线上7*24小时,一年365天无服务中断考验 机器学习平台Euler应用计算存储MPI通信框架分布式向量作业管理&任务调度分类分布式矩阵计算框架聚类回归 Euler平台算法库聚类 k-means 凝聚层次聚类 minhash

3、Disjoint-Set Query Clustering分类 随机森林 GBDT LLGC 朴素贝叶斯主题模型 plsa Lda 协同过滤 User-based Item-based 回归 逻辑回归 机器翻译 SMT EMBT 其它 PageRank:网页排序 ALS:矩阵分解 Hadoop平台(HDFS, M/R) 360内部分支版本(从2010年开始) 单集群规模5K个节点,年底到10K节点 增加了权限管理,性能优化一系列改进 大数据分析平台云图 语音识别 7人小团队一年时间在搜索语音识别领域超过讯飞 利用公司海量数据优势和海量数据挖掘经验1.82%3.09%0.00%0.50%1.00%1.50%2.00%2.50%3.00%3.50%360搜索讯飞语音+字错误率

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > IT计算机 > Web服务

copyright@ 2008-2023 1wenmi网站版权所有

经营许可证编号:宁ICP备2022001189号-1

本站为文档C2C交易模式,即用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。第壹文秘仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知第壹文秘网,我们立即给予删除!