• hadoop-common源码分析

    hadoop将java的基本类型进行封装,对整型进行编码时,分为固定长度格式、可变长度格式。可变长度格式使用一种比较灵活的编码方式,对与较小的数(尤其是负数)可以节省空间存储。 VIntWritable public class VIntWritable implements WritableComparable<VIntWritable> { private int value; //getter //setter @Override public void readFields(DataInp...
    作者:孤风一剑/2015年7月28日/分类:其它语言/阅读:1,010次/标签:, /评论关闭
  • Hadoop集群_常用MySQL数据库命令

    1、系统管理 1.1 连接MySQL   格式: mysql -h主机地址 -u用户名 -p用户密码   举例:   例1:连接到本机上的MySQL。   首先在打开DOS窗口,然后进入目录 mysqlbin,再键入命令"mysql –u root –p",回车后提示你输密码,如果刚安装好MySQL,超级用户"root"是没有密码的,故直接回车即可进入到MySQL中了,MySQL的提示符是: mysql>。   例2:连接到远程主机上...
    作者:孤风一剑/2014年12月24日/分类:其它语言/阅读:726次/标签:, /评论关闭
  • Hadoop集群_MySQL关系数据库

              @Override         public void readFields(ResultSet result) throws SQLException {             this.word = result.getString(1);             this.number = result.getInt(2);         }         @Override         public void write(PreparedStatement stmt) throws SQLException {             stmt.setString(1, this.word);             stmt.s...
    作者:孤风一剑/2014年12月24日/分类:其它语言/阅读:1,134次/标签:, /评论关闭
  • Hadoop集群_MapReduce初级案例

    1、数据去重    "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 1.1 实例描述   对数据文件中的数据进行去重。数据文件中的每行都是一个数据。   样例输入如下所示:      1)file1: 2012-3-1 a 2012-3...
    作者:孤风一剑/2014年12月24日/分类:其它语言/阅读:947次/标签:, /评论关闭
  • Hadoop集群_HDFS初探之旅

    1、HDFS简介   HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来了很多便利。 ...
    作者:孤风一剑/2014年12月24日/分类:其它语言/阅读:747次/标签:, /评论关闭
  • Hadoop集群_Eclipse开发环境设置

    1、Hadoop开发环境简介 1.1 Hadoop集群简介   Java版本:jdk-6u31-linux-i586.bin   Linux系统:CentOS6.0   Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介   Java版本:jdk-6u31-windows-i586.exe   Win系统:Windows 7 旗舰版   Eclipse软件:eclipse-jee-indigo-SR1-win32.zip | eclipse-jee-helios-SR2-win32.zip   Hadoop软件:hadoop-1.0.0.tar...
    作者:孤风一剑/2014年12月24日/分类:其它语言/阅读:732次/标签:, /评论关闭
  • Hadoop集群_JDK和SSH无密码配置

    1、Linux配置java环境变量 1.1 原文出处     地址:http://blog.csdn.net/jiedushi/article/details/6672894 1.2 解压安装jdk   在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录,执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议,连继敲回车,当询问是否同意的时候,输入yes,回车。之后会在当前目录下生成一个jdk1.6.0_14目录,你可以将它复制到 任何...
    作者:孤风一剑/2014年12月24日/分类:其它语言/阅读:694次/标签:, , /评论关闭
  • Hadoop集群_VSFTP安装配置

    1、VSFTP简介   VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件,它的全称是Very Secure FTP 从此名称可以看出来,编制者的初衷是代码的安全。   安全性是编写VSFTP的初衷,除了这与生俱来的安全特性以外,高速与高稳定性也是VSFTP的两个重要特点。   在速度方面,使用ASCII代码的模式下载数据时,VSFTP的速度是Wu-FTP的两倍,如果Linux主机使用2.4.*的内...
    作者:孤风一剑/2014年12月24日/分类:其它语言/阅读:672次/标签:, /评论关闭
  • Hadoop集群_Hadoop安装配置

    1、集群部署介绍 1.1 Hadoop简介   Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。   对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个HDFS集群是由一个NameNode和若...
    作者:孤风一剑/2014年12月24日/分类:其它语言/阅读:915次/标签:/评论关闭
  • apache hadoop 2.4.0 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)

    工作需要,要开始搞hadoop了,又是大数据,自己感觉大数据、云,只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织,Java如果没有它也不会现在如火中天。言归正传: 首先需要下载Apache hadoop 2.4.0的tar.gz包,到本地解压缩到某个盘下,注意路径里不要带空格。否则你配置文件里需要用windows 8.3格式的路径! 第二确保操作系统是64bit,已安...
    作者:孤风一剑/2014年10月11日/分类:其它语言/阅读:1,098次/标签:, , , , /评论关闭