分布式

Disque:Redis之父新开源的分布式内存作业队列

Disque是Redis之父Salvatore Sanfilippo新开源的一个分布式内存消息代理。它适应于\"Redis作为作业队列\"的场景,但采用了一种专用、独立、可扩展且具有容错功能的设计,兼具Redis的简洁和高性能,并且用C语言实现为一个非阻塞网络服务器。 Redis的作者Salvatore Sanfilippo(网名Antirez)发表的一篇

2015-07-29 11:55:48

Hadoop入门进阶课程1--Hadoop1.X伪分布式安装

本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,博主为石山园,博客地址为 http://www.cnblogs.com/shishanyuan  。该系列课程是应邀实验楼整理编写的,这里需要赞一下实验楼提供了学习的新方式,可以边看博客边上机实验,课程地址为 https://www.shiyan

2015-07-21 10:15:39

ubuntu10.04+hadoop0.20.2平台配置(完全分布式模式)

配置环境及有关工具:ubuntu10.04  、hadoop0.20.2 、 jdk1.6.0_29 我们的机器有三台,一台当作namenode、两台当作datanode: namenode:IP:192.168.0.25、机器名:kiddenzj (这里的机器名要注意:机器名不能包含下划线“_”,一开始没注意后来找了半天才发现这个原因) d

2015-07-21 10:15:32

hadoop 2.5.2 完全分布式集群环境搭建 (1)

经过一番艰辛的过程,搭建好hadoop2.5.2的完全分布式集群环境,本文描述环境的搭建,后续文章将描述开发环境及HDFS API 及MapReduce例程编写及运行过程,转载请注明出处(http://blog.csdn.net/kylindai/article/details/46584637) 1. 环境及软件包 (1) 操作系统 Centos-

2015-07-21 10:14:42

win7上eclipse提交mr至hadoop2.6分布式运行错误集锦

1、下载hadoop2.6,编译插件 2、Eclipse安装插件 3、安装maven插件,配置jar包,实现自动将工程打包jar 4、创建mapreduce工程,运行wordcount 5、在其中遇到各种错误 (1)java.lang.NullPointerException 修复方法: 下载hadoop-common-2.2.0-bin-ma

2015-07-21 10:14:42

hadoop2.5.1集群部署(完全分布式)

hadoop2.5完全分布式 环境介绍: 环境介绍:3台虚拟机安装centos6.464位、jdk1.7 64位、hadoop2.5.1 64位   主机配置规划 1. 修改主机名和/etc/hosts文件 1)修改主机名(非必要) vi /etc/sysconfig/network HOSTNAME=m1

2015-07-21 10:14:35

基于Hadoop 的分布式网络爬虫技术学习笔记

                              

2015-07-21 10:11:38

Hadoop平台Hdfs分布式文件系统

HDFS(分布式文件系统) 1 架构简介 hdfs采用的是master/slave模型。 一个hdfs cluster包含一个NameNode和一些列的DataNode。 NameNode充当的是master的角色,主要负责管理hdfs文件系统,接受来自客户端的请求; DataNode主要是用来存储数据文件,hdfs将一个文件分割成一个多这是多


架构师方向:基于.net平台remoting、DB2技术的大型分布式HIS系统架构及开发

课程地址:http://***/goods.php?id=131   培训定位:适合于.net方向有一定的工作经验提高用。本次课程涉及到系统架构、DB2、抽象工厂、组件式编程、基于角色和个人的混合授权思想、动态菜单技术、报表打印、作业调度、remoting技术、分布式负载均衡等。课程假设读者就是刚入职的员工,讲师承担师傅的角色,为各位呈现实

2015-07-15 10:34:32

基于.net平台remoting、DB2技术的大型分布式HIS系统架构及开发

课程地址:http://***/goods.php?id=131   培训定位:适合于.net方向有一定的工作经验提高用。本次课程涉及到系统架构、DB2、抽象工厂、组件式编程、基于角色和个人的混合授权思想、动态菜单技术、报表打印、作业调度、remoting技术、分布式负载均衡等。课程假设读者就是刚入职的员工,讲师承担师傅的角色,为各位呈现实际开

2015-07-15 10:34:07

基于.net平台remoting、DB2技术的大型分布式HIS系统架构及开发(项目架构师方向)

课程链接:http://***/goods.php?id=131 培训定位:适合于.net方向有一定的工作经验提高用。本次课程涉及到系统架构、DB2、抽象工厂、组件式编程、基于角色和个人的混合授权思想、动态菜单技术、报表打印、作业调度、remoting技术、分布式负载均衡等。课程假设读者就是刚入职的员工,讲师承担师傅的角色,为各位呈现实际开发的流程、习

2015-07-15 10:31:09

基于redis分布式缓存实现

简单说明下,写此文章算是对自己近一段工作的总结,希望能对你有点帮助,同时也是自己的一点小积累。 一.为什么选择redis 在项目中使用redis做为缓存,还没有使用memcache,考虑因素主要有两点: 1.redis丰富的数据结构,其hash,list,set以及功能丰富的String的支持,对于实际项目中的使用有

2015-07-14 17:15:51

redis 分布式,主从同步

1,copy一下redis.conf,生成一个从机的配置   bind 127.0.0.1   bind 127.0.0.1 slaveof 127.0.0.1 6379     [6956] 11 Apr 17:07:14 * Server started, Red

2015-07-14 17:15:27

redis缓存工具Jedis进行跨jvm加锁(分布式应用)--不幸暂弃用--可以做第三方锁使用

       最近使用redis碰到了多个并发处理同一个缓存的情况。在这种情况下需要进行加锁机制。本来想使用java自带的ReadWriteLock进行设置读写锁,这也是上家公司使用的方法。后来经过商讨,给予排除。原因无他,就是java自带的并不能跨jvm进行加锁,意思就是说A服务器上的write锁无法限制B服务器上的

2015-07-14 17:15:17

spring 3.0.6 + mybatis 3.06 + atomikos3.7 (tomcat)分布式事务

atomikos 所需jar : 1.transactions-jdbc.jar 2.transactions.jar 3.transactions-jta.jar 4.transactions-api.jar 5.atomikos-util.jar jta.properties 配置文件 放在src目录即可 com.atomiko

2015-07-13 11:12:39

nginx + gridfs 实现图片的分布式存储(一) 安装

1、前期准备 sudo yum -y install pcre-devel openssl-devel GeoIP-devel zlib-devel     2、下载nginx-gridfs源码,并将mongodb-mongo-c-driver源码添加到nginx-gridfs/mongo-c-driver中 # 下载

2015-07-13 11:00:27

Nginx负载均衡:分布式/热备Web Server的搭建

       Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发,供俄国大型的入口网站及搜索引擎Rambler(俄文:Рамблер)使用。其特点是占有内

2015-07-13 10:55:10

php memcache分布式和要注意的问题

Memcache的分布式介绍 memcached虽然称为“分布式”缓存服务器,但服务器端并没有“分布式”功能。服务器端仅包括内存存储功能,其实现非常简单。至于memcached的分布式,则是完全由客户端程序库实现的。这种分布式是memcached的最大特点。 Memcached的分布式是什么意思? 这里多次使用了“分布式”这个词,但并未做详细解释。现在

2015-07-10 15:10:19

推荐一个go语言写成的高扩展分布式存储系统

隆重推荐一个go语言写成的扩展分布式存储系统weed-fs参见: https://code.google.com/p/weed-fs/

2015-07-10 15:04:13

分布式文件系统

Cache:memcached, MemcacheDB. 分布式文件系统:GFS, Hadoop, Hive. NoSQL:BigTable, HBase, MongoDBhttp://www.programmer.com.cn/7624/http://en.wikipedia.org/wiki/NoSQLhttp://sebug.net/paper/dat

2015-07-08 18:45:29