• Hadoop集群_Hadoop安装配置

    1、集群部署介绍 1.1 Hadoop简介   Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。   对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个HDFS集群是由一个NameNode和若...
    作者:孤风一剑/2014年12月24日/分类:其它语言/阅读:964次/标签:/评论关闭
  • centos6.3搭建FTP服务器图文教程

    系统:CENTOS 6.3 平台:vsftpd 准备搭建FTP服务器: 关闭linux防火墙,(不想关的可以把ftp的21端口加到防火墙规则即可) #chkconfig --level 35 iptables off  关闭selinux:编辑配置文件/etc/selinux/config,改为SELINUX=disabled 重启电脑!继续centos搭建FTP服务器。 开始 1.先查看系统是否安装了vsftpd和ftp,如果成功则接着下面操作搭建FTP服务器, #rpm –q vs...
    作者:孤风一剑/2014年12月24日/分类:其它语言/阅读:926次/标签:, /评论关闭
  • CentOS配置VSFTP服务器

    [1] 安装VSFTP [root@localhost ~]# yum -y install vsftpd [2] 配置vsftpd.conf文件 [root@localhost ~]# vi /etc/vsftpd/vsftpd.conf # Example config file /etc/vsftpd/vsftpd.conf # # The default compiled in settings are fairly paranoid. This sample file # loosens things up a bit, to make the ftp daemon more usable. # Please see vsftpd.conf.5 for al...
    作者:孤风一剑/2014年12月24日/分类:其它语言/阅读:948次/标签:, /评论关闭
  • 《网络编程》IPv4 与 IPv6 相互操作

    前言         由于互联网终端不断增加,IPv4 地址长度(32位)已不能够满足要求,所以出现了 IPv6地址(128位),但是现有应用程序大部分还是采用 IPv4 地址形式,所以必须解决 IPv4 与 IPv6 之间的相互操作,使现有基于 IPv4 的应用程序能够与基于 IPv6 的应用程序相互通信。那么我们怎么实现 IPv4 客户端与 IPv6 服务器、IPv6 客户端与 IPv4 服务器之间的通信。 IPv4 客...
    作者:孤风一剑/2014年12月15日/分类:其它语言/阅读:769次//评论关闭
  • qt 调试语句的处理 禁用和重定向到文件

    在qt调试中,qdebug是个非常方便的功能,只需要在包含#include<QDebug> ,你便可以在代码中随时随地使用打印调试语句了,并且可以选择对应的调试等级。 这些函数按照调试的等级以此有,其中qFatal执行后程序直接退出,并用对话框提示相关错误: qDebug / qWarning / qCritical qFatal 这些函数的使用用法如下: #include<QDebug> int main(int argc,char*arg...
    作者:孤风一剑/2014年12月06日/分类:其它语言/阅读:1,132次/标签:, , /评论关闭
  • Socket局域网多线程传输文件的方法

    1.思路:为了实现各种大小的文件都可发送和接收,可设置缓冲区循环发送和接收,并记录文件读到的位置,如果某次读入到缓冲区的字节数小于缓冲区的大小,则说明文件发送完了,退出发送循环,关闭连接。并且Csocket是阻塞的,接收端接能接收到发送端发送的所有内容,直到发送端连接关闭,接收端退出接收循环。 //循环发送文件 2.主要代码 发送端: do { file.Seek(step,CFile::...
    作者:孤风一剑/2014年11月19日/分类:其它语言/阅读:1,265次/标签:, , , /评论关闭
  • 深入理解 Linux 内存管理

    1. 内存地址 以Intel的中央处理器为例,Linux 32位的系统中,物理内存的基本单位是字节(Byte),1个字节有8个二进制位。每个内存地址指向一个字节,内存地址加1后得到下一个字节的地址。这里用以表示物理内存实际位置的地址,就是通常所说的物理地址(Physical Address)。CPU正在执行的进程代码、进程数据和栈区数据等,都临时保存在物理内存中。 线性地址(Linear Addre...
    作者:孤风一剑/2014年11月12日/分类:其它语言/阅读:910次/标签:/评论关闭
  • 分布式搜索elasticsearch 索引文档的检索

    1、首先将如下数据提交到ES中建立索引 {"number":32768,"singer":"杨坤","size":"5109132","song":"今夜二十岁","tag":"中国好声音","timelen":319} {"number":32769,"singer":"汪峰","size":"6001697","song":"我爱你中国","tag":"中国好声音","timelen":375} {"number":32780,"singer":"汪峰","size":"4070469","song":"我如此爱你","tag":"中国好声音","timelen":254} {"...
    作者:孤风一剑/2014年10月14日/分类:其它语言/阅读:1,084次/标签:, , , /评论关闭
  • apache hadoop 2.4.0 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)

    工作需要,要开始搞hadoop了,又是大数据,自己感觉大数据、云,只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织,Java如果没有它也不会现在如火中天。言归正传: 首先需要下载Apache hadoop 2.4.0的tar.gz包,到本地解压缩到某个盘下,注意路径里不要带空格。否则你配置文件里需要用windows 8.3格式的路径! 第二确保操作系统是64bit,已安...
    作者:孤风一剑/2014年10月11日/分类:其它语言/阅读:1,171次/标签:, , , , /评论关闭
  • hadoop2.4的datanode多目录数据副本存放策略

    在hadoop2.0中,datanode数据副本存放磁盘选择策略有两种方式: 第一种是沿用hadoop1.0的磁盘目录轮询方式,实现类:RoundRobinVolumeChoosingPolicy.java 第二种是选择可用空间足够多的磁盘方式存储,实现类:AvailableSpaceVolumeChoosingPolicy.java 选择策略对应的配置项是: [plain] <property>     <name>dfs.datanode.fsdataset.volume.choosing.p...
    作者:孤风一剑/2014年10月11日/分类:其它语言/阅读:786次/标签:, /评论关闭