ITeye博客

rainforc

rainforc · 共 54 篇文章

Netty IO线程模型学习总结

Netty框架的 主要线程是IO线程,线程模型的好坏直接决定了系统的吞吐量、并发性和安全性。 Netty的线程模型遵循了Reactor的基础线程模型。下面我们先一起看下该模型 Reactor线程模型 Reactor 单线程模型 单线程模型中所有的IO操作都在一个NIO线程上操作: 包含接受客户端的请求,读取客户端的消息和应答。由于使用的是异步非阻塞的IO,所有的IO操作不会阻塞,理论上一个线程就可以处理所有的IO操作。 单线程模型适用小容量的应用。因为在高并发应用 可导致以下问题 一个线程同时处理成百上千的链路,性能上无法支撑。即使IO线程cpu 100%也无法满足要求。 当NIO线层负载过…

2016-05-20T17:07:21Z · 开源软件 · 评论(0)

大数据即时计算产品的一般原理----列式存储

一、什么是列式存储 讲列存储之前必须得先讲下行存储,因为行存储是大数据技术流行之前最为常见的一种数据存储方式,传统的关系数据库如Oracle、DB2、Mysql等都是将数据以行记录为单位进行组织,所以数据读写操作需要遍历行记录中所有的列,在存储机制上,行存储将行记录中各列的数据值串在一起进行存储,并且先存完第一行再存第二行,例如:1,Smith,Joe,40000;2,Jones,Mary,50000;3,Johnson,Cathy,44000;而列存储是一种区别于传统行存储的新型读写模式,列存储以列数据集合为单位进行存储,是把一列中的数据值串在一起进行存储,先存完第一列,再存第二列,例如:…

2016-05-20T17:04:48Z · 编程语言 · 评论(0)

大数据即时计算产品的一般原理----技术纲要介绍

前言: 在数据部门工作已经是第三个年头,做过很多的数据产品,也接触了很多的业务数据和业务数据的生产。我的工作经历也大致分为这样几个阶段:第一阶段就是做数据产品,主要的工作就是把生产好的数据根据具体的业务把数据搬到网页上;第二个阶段开始尝试做了数据产品的产品,以配置化和平台化的方式玩出数据产品的页面;第三个阶段开始尝试做了数据仓库的产品,直接基于数据仓库模型组织的明细粒度数据进行即席OLAP分析从而快速获取统计分析的结果数据,这其中随着当前业务数据的急速膨胀,我们必须要面对如何在千万级别、亿级别甚至是百亿级别的数据进行聚合统计计算的问题,大家都知道在做聚合计算一般都是比较耗费资源的,一台单机关…

2016-05-20T17:03:12Z · 编程语言 · 评论(0)

大数据即时计算产品的一般原理介绍----MPP架构

什么是MPP架构? 众所周知,基于Map-Reduce模式的Hadoop擅长数据批处理,不是特别符合即时查询的场景。而业界当前做大数据实时查询一般都采用MPP架构,MPP全称Massively Parallel Processing,即大规模并行处理系统。大家都知道在数据库架构设计中,目前主要有Shared Everthing、和Shared Storage、Shared Nothing这三种主流架构,概要架构如下图所示: Shared Everthting:完全透明共享CPU/MEMORY/IO,并行处理能力是最差的,性能的提升严重依赖单机硬件的升级并总有天花板。 Shared Stora…

2016-05-20T17:02:44Z · 编程语言 · 评论(0)

大数据即时计算产品的一般原理----索引

一、基本概念 索引相信大家多多少少都接触过,索引的目的说白了就是加快数据的检索、排序和计算等,尤其是对于海量数据的快速检索,索引起到了至关重要的作用。大家都知道,我们基于传统数据库开发经常会遇到一个问题,就是这个SQL查询变慢,是不是索引没加?数据库的索引好比一本书前面的目录,如果明确知道按哪个字段来进行索引查找,查询效率还是挺高的,数据库的索引实际上是一个单独的、物理的数据库结构, 它是某个表中一列或者若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单,但是大家一定要注意,并不是所有的数据库索引都能提升查询性能,毕竟传统数据库主要还是面向事务的,当对表中的数据进行增加、删除…

2016-05-20T17:02:26Z · 编程语言 · 评论(0)

job运行流程(4)---NodeManager运行CONTAINER

16、接着上篇文章LocalizationEventType.INIT_CONTAINER_RESOURCES事件被触发,对应ResourceLocalizationService.handle()被执行,分别会创建public、private、application三种资源对应的LocalResourcesTrackerImpl服务,接着LocalResourcesTrackerImpl.handle()被执行 17、然后对应LocalizedResource.handle(ResourceRequestEvent.REQUEST)会被调度执行,用来完成ResourceState状态的转换…

2016-03-29T21:00:46Z · 开源软件 · 评论(0)

job运行流程(3)---NodeManager运行APPLICATION

11、接着上篇文章ApplicationMasterLaunch.handle(AMLaunchEventType.LAUNCH)被触发,接着开始调用RPC服务向NodeManager请求启动container,并触发RMAppAttemptEventType.LAUNCHED事件; 12、调用ContainerManagementProtocolPBClientImpl.startContainers(allRequests)请Containers启动; 13、接着NodeManager响应startContainer请求,从而会去调用ContainerManagerImpl.startC…

2016-03-29T20:36:36Z · 开源软件 · 评论(0)

job运行流程(2)---ResourceManager调度job

6、接着上篇文章中的最后一步:ResourceManager服务端执行ClientRMService.submitApplication(),接着开始调用RMAppManager.submitApplication()进而来触发RMAppEvent事件,成为job调度运行事件触发的源头; (本系列文章主要分析job调度运行流程的主要事件流程,像其它的日志读写事件流程、container监控流程等并没有包括在内) 7、接着触发了RMAppImpl.handle(),这其中注册了多种状态转换机制,负责RMAppState的各种状态转换; 8、ResourceManager服务启动初始化时会启动一…

2016-03-29T20:20:52Z · 开源软件 · 评论(0)

job运行流程(1)---客户端提交job

1、通过hadoop -jar命令提交一个job,并且解析提交的各个参数,保存对应的属性或内容到configuration; 优化点:这里可以通过修改GenerticOptionPaser类,来解析自定义的属性,比如public jar包更新等。 2、调用waitForCompletion提交job并轮询job运行状态; 优化点:这里的job状态轮询在ResourceManager返回app finish后回去查询historyserver,查询historyserver失败的话会默认重试三次,由于historyserver是单点并且无状态的,可以启用备用节点,当主节点挂掉或阻塞超时,就去查…

2016-03-29T20:04:15Z · 开源软件 · 评论(0)

hadoop------applog读写流程

1、NodeManager初始化时会先初始化ContainerManagerImpl服务,从而触发LogAggregationService也被初始化,而该服务是用于处理applog的读写流程的。 2、LogAggregationService会根据各种事件触发,从而读取本地的container log,然后写到hdfs上的app-log-dir,并删除本地的container log。 3、其中每个nodemanager的本地的container-log,是在ContainerLaunch.call中运行container时,调用LogDirsHandlerService来写到本地磁盘的,…

2016-03-29T19:36:15Z · 开源软件 · 评论(0)

hadoop-----joblog读写流程

1、job提交后,调用JobSubmitter的submitJobInternal方法提交job相关文件到hdfs 2、nodemanager启动时会初始化本地目录,并清除本地yarn.nodemanager.local-dirs下的filecache/usercache/nmprivate目录下的资源文件 3、nodemanager的container资源初始化:ResourceLocalizationService服务中LocalizerRunner分别会去下载job相关文件 4、container运行完成时会触发JobHistoryEvent事件,JobHistoryEventHand…

2016-03-25T21:03:23Z · 开源软件 · 评论(0)

谈谈数据库索引(转载)

今天来聊聊数据库里的索引,你知道的,网上这样的文章一抓一大把的, 基本都是从索引的原理说起,讲到索引的分类, 物理组织和存储形式,如何找到对应的记录,如何构建复杂的索引等等 ,如果我再写一篇这样的就没意思了,而且这些未必真的是大家(尤其是开发同学)关心的。所以我今天打算以一个不同的角度来讲下索引,而且针对B+tree索引,希望大家看了会有所帮助。 对于一个SQL,开发同学最关心的啥? 我觉得并不是这个SQL在数据库里面是如何执行的,而是这条SQL是否能尽快的返回结果,前面我们在讲连接池的时候提到过,在SQL的生命周期里,每一个环节都有足够的优化空间,但是我们有没有想过,SQL优化的本质是啥?…

2016-03-12T17:45:11Z · 数据库 · 评论(0)

数据一致性-分区可用性-性能——多副本强同步数据库系统实现(转载)

这篇博客文章接下来的部分,将跳出任何一种数据库,从原理的角度上来分析下面的几个问题: **问题一:数据一致性。**在不使用共享存储的情况下,传统RDBMS(例如:Oracle/MySQL/PostgreSQL等),能否做到在主库出问题时的数据零丢失。 **问题二:分区可用性。**有多个副本的数据库,怎么在出现各种问题时保证系统的持续可用? **问题三:性能。**不使用共享存储的RDBMS,为了保证多个副本间的数据一致性,是否会损失性能?如何将性能的损失降到最低? 问题四:一个极端场景的分析 。 1 问题一:数据一致性 问:脱离了共享存储,传统关系型数据库就无法做到主备强一致吗? 答:我的答案…

2016-03-12T17:45:02Z · 数据库 · 评论(0)

Storm线程进程分配方法

运行中的Topology主要由以下三个组件组成的: Worker processes(进程) Executors (threads)(线程) Tasks 其中进程数除以机器数可以得到每台机器的进程数,我们以一台机器为例: Spout或者Bolt的Task个数一旦指定之后就不能改变了,而Executor的数量可以根据情况来进行动态的调整。默认情况下# executor = #tasks即一个Executor中运行着一个Task。 如上面代码所示: 进程数=numWorkers=2 线程数=blue_parallelism_hint(2)+green_parallelism_hint(2)+ye…

2016-03-12T17:44:54Z · 开源软件 · 评论(0)

storm的ack机制

我们知道,Storm保证发出的每条消息都能够得到完全处理,也就是说,对于从Spout发出的每个tuple,该tuple和其产生的所有tuple(整棵tuple树)都被成功处理。如果在应用设定的超时时间之内,这个tuple没有处理成功,则认为这个tuple处理失败了。tuple处理成功还是失败,Storm又是怎么知道的呢? 原来Storm中有一类叫Acker的task,它会对tuple树进行跟踪,并检测相应的spout tuple是否处理完成了。当一个tuple被创建时,不管是在Spout还是Bolt中创建,它都会被赋予一个tuple-id(随机生成的64位数字),这些tuple-id就是Ac…

2016-03-12T17:44:38Z · 开源软件 · 评论(0)