冰糖葫芦
冰糖葫芦 · 共 69 篇文章
java使用小根堆实现优先级队列的几种方式
写在之前 1.自定义实现采用数组作为内部数据结构 2.内部数组通过grow方法进行扩容,每次只是简单的扩展为原来的2倍 3.集中实现方式的主要区别在于siftDown方法 4.以下给出关键代码,更多详细信息请看附件源码 实现方式一(递归实现) 关键代码: @Override protected void siftDown(int index) { int len = totalCount - 1; int left = left(index); int right = right(index); if(left > len) { return; } int currentMin = left…
java数字转金额(任意金额、支持负数、前缀0)
小数金额转换(精确到分) A.包含功能: 1.支持任意大小的金额 2.支持整形、小数金额转换 3.支持负数转换 4.支持以+开头的数,如+100 5.支持前缀0转换,如-000001、000001等 6.支持逗号去除,如100,000 转为 100000后转换为大写金额 7.将转换后开头的“壹拾”替换为“拾”(该功能可选,只要重新实现after方法即可) 8.小数位超过2位则强制进位,如: 10.001 ==> 10.01 10.005 ==> 10.01 10.561 ==> 10.57 10.565 ==> 10.57 9.小数位第一位不为0,则不加“零”否则加“零”,如: 10.001…
mac下使用JITWatch查看JDK1.8汇编代码
环境 1.机器型号:MacBook Pro (Retina, 15-inch, Mid 2015) 2.CPU型号:2.5 GHz Intel Core i7 3.操作系统:macOS 10.12.5 (16F73) 4.内核版本:Darwin 16.6.0 5.JDK版本:java version "1.8.0_101"(重要,jdk版本不同hsdis库可能要重新编译) 相关源码 1.jdk8地址:http://hg.openjdk.java.net/jdk8/jdk8 2.JITWatch源码:https://github.com/AdoptOpenJDK/jitwatch 预备知识 1…
mysql Merge引擎
若可以使用表分区,应首选表分区而不是使用merge来分表。 1.也叫 MRG_MyISAM, merge引擎使用示例: 2.目前(2015-11-05)merge引擎所关联的表只能是MyISAM引擎,不能是Innodb引擎 3.在merge table上是用drop table时只是影响的merge table并不影响被关联表如(t1,t2) 4.创建merge表必须要有 UNION=( list-of-tables )语句 insert_method为可选参数,取值为last,first,no 其中last为插入到union中的最后一张表,first为插入到第一张表,no表示merge表不…
2017-07-11 13:54 · mysql · 评论(0)
centos下twemproxy安装
1.解压 tar -xvf nutcracker-0.4.1.tar.gz 2.安装 yum install -y libtool cd nutcracker-0.4.1 ./configure make make install 3.配置文件 cp /home/test/nutcracker-0.4.1/conf/nutcracker.yml /etc/twemproxy/ 4.启动: /usr/local/sbin/nutcracker -d -c /etc/twemproxy/nutcracker.yml -p /var/run/redisproxy.pid -o /var/log/t…
2017-07-11 13:36 · redis · 评论(0)
Redis持久化机制比对
RDB 1. 按特定的时间间隔来为数据集做快照 2.每次持久化都是将全量数据写入,而不是增量 3.每次写入时先将数据写入临时文件再替换掉原来的rdb文件 优点: 1.RDB是一个单独的文件,方便备份以及灾难恢复 2.写数据的模式为parent进程fork出一个子进程来进行磁盘io操作,而parent进程则不需要参与io操作 3.在数据比较大的情况下,启动速度比AOF快 缺点: 1.该模式下如果redis崩溃或者断电情况下可能有数据丢失;因为RDB是按照固定策略(如10秒刷入一次或者5分钟内写入100条数据则刷入磁盘等)来持久化的,那么则断电或者服务崩溃的情况下可能会丢失某一个时间段的数据 2…
2017-07-11 13:32 · redis · 评论(0)
JVM CMS垃圾回收日志详解
2017-02-13T13:08:44.032+0800: 70058.910: [GC (Allocation Failure) 2017-02-13T13:08:44.033+0800: 70058.910: [ParNew: 5565156K->90568K(5662336K), 0.1661369 secs] 8129600K->3164530K(13002368K), 0.1663049 secs] [Times: user=0.61 sys=0.00, real=0.16 secs] 年轻代垃圾回收。年轻代的容量为5662336K,通过本次回收,年轻代使用量从5565156K降到…
Spark架构
声明:本文中所将的spark内存模型是1.6+的版本,新的内存模型会在新的文章中讲到。 不久前我在StackOverflow上回答了一系列关于Apache Spark架构相关的问题。这似乎是由于网上缺乏好的Spark整体架构的文章。甚至是官网指导中也没有很多详细的介绍,当然也缺少好的架构图。“Learning Spark”这本书和官方资料中也一样没有。 本文我将尝试解决这个问题并在整体上提供Spark架构相关以及经常被提及的先关概念一些问题的一站式指导。这篇文章并不完全是针对Spark初学者的:文中不会提供Spark主要抽象编程的深入讲解(如RDD和DGA),但是需要大家具备这方面的知识。 …
Spark迷思
目前在媒体上有很大的关于Apache Spark框架的声音,渐渐的它成为了大数据领域的下一个大的东西。证明这件事的最简单的方式就是看google的趋势图: 上图展示的过去两年Hadoop和Spark的趋势。Spark在终端用户之间变得越来越受欢迎,而且这些用户经常在网上找Spark相关资料。这给了Spark起了很大的宣传作用;同时围绕着它的也有误区和思维错误,而且很多人还把这些误区作为银弹,认为它可以解决他们的问题并提供比Hadoop好100倍的性能。 这篇文章将为希望在自己系统接入Spark的技术员们讲解大家对它的一些主要误区。我要说的是这些误区主要是源于市场上一些专家的谣传和过度简单化。…
2016-03-27 19:28 · spark · 评论(0)
Spark是否会替代Hadoop?
我经常会从客户或者网上听到这个问题,尤其是最近几年。那么关于spark哪些被我们神化了,哪些又是真实的,以及它在“大数据”的生态系统中又是怎样的? 说实话,其实我把这个问题作为标题是有问题的,但是我们经常会这样问。Hadoop并不是一个单独的产品而是一个生态系统,而spark也是一样的。下面让我们来一个一个解释。目前Hadoop生态系统主要包括: HDFS—Hadoop分布式文件系统。它是一个分布式的、面向块的、不可更新的、高度伸缩性的、可运行在集群中普通硬盘上的文件系统。此外,HDFS还是一个独立的工具,它可以独立于Hadoop生态系统中其他组件而运行(但是如果我们想要使HDFS高可用时,…
solr4.7.2+mmseg2.0+pinyinAnalyzer实现拼音、简拼检索
生产环境: solr4.7.2 jdk1.6 lucene4.7.2 mmseg4j-core-1.10 (https://github.com/chenlb/mmseg4j-core.git) mmseg-solr-2.0 (https://github.com/chenlb/mmseg4j-solr.git) pinyin4j-2.5.0 pinyinAnalyzer (https://github.com/liangbaolin/pinyinAnalyzer.git) 说明: 由于mmseg4j本身对max-word模式下分词做了最小只能是2个词的限制,而作者又没有好的办法,所以我们针…
2016-03-14 13:02 · solr · mmseg · pinyinAnalyzer · lucene · 评论(4)
影响IO密集型应用性能的因素
如果我们曾经在IO密集型应用中碰到过性能问题,那么我们可能都知道系统的性能会随磁盘压力增加而降低。这个因素是众所周知的,但是其背后的原因可能就不那么清晰了。本文将尝试解释这个过程背后所发生的事情。 一 个典型的场景是当数据被写入一个文件时,它首先会被写入内存区域保留页面缓存;该缓存页保存还没有被写入的数据,这些数据被称为脏数据;经过一段事件后, 根据IO策略,系统内核将这些脏数据刷新到持久化到硬盘的设备队列中。一旦数据到达队列,剩下的就是机器操作:设备驱动读取IO请求、接着是旋转,寻找和 写入到文件所在的物理磁盘块位置。其中首先是写日志文件,然后才将数据写入实际文件中。 在最近和一些其他工程…
Java NIO与IO
当学习java NIO和IO API时,大脑中会很快涌现一个问题: 什么时候用IO?什么时候用NIO? 这篇文章作者将尝试阐明Java NIO和IO之间的一些区别、它们的用例、它们各自是如何影响我们的代码设计的。 Java NIO和IO的主要区别 以下表格简要说明了NIO和IO的区别,接着我们将详细说明表格中的每个不同点。 IO NIO 流式(Stream oriented) 缓冲式(Buffer oriented) 阻塞IO 非阻塞IO 选择器(Selectors) 面向流和缓冲型 Java NIO和IO第一个大的不同点是IO是面向流的,NIO则是缓冲型的。那么,这到底是什么意思? Jav…
2015-04-20 12:44 · java相关 · 评论(0)
设计模式问答(四)
什么是桥接模式? 桥接模式有助于将抽象从实现中解耦。这样如果实现发生变化但是不会影响到抽象,反之亦然。如图“抽象和实现”所示,开关为抽象层,电子设备是实现;而开关可以被任何电子设备实现,因此开关是一种抽象思维而设备是实现。 图1:抽象和实现 下面我们编写开关和设备例子的代码。首先要做的事情是将实现和抽象分开到两个类总。图“实现”展示了‘IEquipment’接口,该接口包含‘Start()’和‘Stop()’两个方法。我们实现了两个设备,一个是冰箱,另一个是电灯泡。 图2:实现 第二部分是抽象。这个例子中的抽象部分是开关,它有一个‘SetEquipment’方法来设置对象;‘On’方法调用设…
2015-04-13 12:35 · 设计模式 · 评论(0)
设计模式问答(三)
什么是状态模式? 状态模式允许一个对象根据当前对象的值来决定其行为。如下图“状态模式示例”是一个关于电灯泡操作的例子。如果电灯的状态为关,当按下开关时状态将打开;如果开关为开,则按下开关灯关闭。简而言之,根据不同的状态行为会发生变化。 图1:状态模式示例 下 面我们尝试使用C#实现该示例。图“状态模式实践”展示了业务类和客户端代码。我们创建了一个类‘clsState’,该类包含有两个状态“On”和 “Off”枚举;还定义了‘PressSwitch’方法,它根据当前状态来切换状态。在图右半部分我们实现了使用类‘clsState’的客户端来调用 ‘PressSwitch方法,并使用‘getSta…
2015-04-07 10:16 · 设计模式 · 评论(0)