MNTMs
- 浏览: 158891 次
- 性别:
- 来自: 长沙
-
最新评论
-
yangsong158：
好文。支持一下。
[转]端口状态说明 LISTENING、ESTABLISHED、TIME_WAIT及CLOSE_WAIT -
cuisuqiang：
非常基础的问题，做开发必须了解的，面试中也经常会问到
JavaWeb中重定向和转发小解 -
SpringJava：
MNTMs 写道SpringJava 写道 M/R的运行原理 ...
hadoop中M/R的点点滴滴 -
MNTMs：
我现在用的还是1.1.2
多个mapreduce工作相互依赖处理方法完整实例（JobControl） -
MNTMs：
SpringJava 写道 M/R的运行原理是这个意思... ...
hadoop中M/R的点点滴滴
文章列表
在JavaWeb的Servlet开发中，有时需要验证来自客户端的参数，或者是处理客户端的数据，然后跳转到相应的其他的 界面，这里有两种页面跳转的方式，一种是重定向，一种是转发。
重定向方式是浏览器和服务端共同的行为，当客户端像服务端（Servlet）发送请求，如果这时使用重定向的方式，服务端就会通知浏览器，让后浏览器在去访问服务端的定向的资源。
index.html为最终访问的页面，此时浏览器的URL栏的最后面显示的也是index.html,也就是如果访问：
http://localhost:8080/ServeletTest ...
1、字节数组转换为字符串
byte[] byBuffer = new byte[20];... ...String strRead = new String(byBuffer);strRead = String.copyValueOf(strRead.toCharArray(), 0, byBuffer.length]);
2、字符串转换成字节数组
byte[] byBuffer = new byte[200];String strInput="abcdefg";byBuffer= strInput.getBytes();
注意：如果字符串里面含有中文，要特别注意， ...
hadoop中
一个M/R（job1）同时跑三个目录下的数据(input_1,input_2,input_3) 将他们的结果交由另外一个M/R（Job2）做一些运算 然后的到最后的结果，最后 的结果应该是四个目录，分别为result1,2,3,4 这个具体要使用到什么？？ 求指教
Scala IDE 的使用
最近接触了Spark，所以不得不去学习一门新的语言，Scala，虽然java和python写的任务也可以放在Spark
上面来跑，但是看到一个wordcount(一个统计单词数目的小例子)用Scala写在Spark上面跑只 ...
（1） 准备工作
在正式介绍之前，先要以下软硬件准备：
软件准备：
Eclipse Juno版本（4.2版本），可以直接点击这里下载：Eclipse 4.2
Scala 2.9.3版本，Window安装程序可以直接点击这里下载：Scala 2.9.3
Eclipse Scala IDE插件，可直接点击这里下载：
HDFS 常用的文件操作命令
1.-cat
使用方法：hadoop fs -cat URI
说明：将路径指定的文件输出到屏幕
示例： hadoop fs -cat hdfs://host1:port1/file
hadoop fs -cat file:///file3
2.-copyFromLocal
使用方法：hadoop fs -copyFromLocal <localsrc>URI
说明： 将本地文件复制到 HDFS 中。
3.copyToLocal
使用方法：hadoop fs -copyToLocal < ...
简单的m/r我们只要写两个部分，一个是继承Mapper，一个是Reducer，写好里面map函数和reduce函数，系统给我们做了很多其他的工作，一个完整的m/r应该包括下面的所有过程，处理复杂的问题的时候我们往往要将下面的东西重写。按照我们自己的需求来进行，而不是默认的系统的方法：
完整m/r的历程如下所示：
处理复杂的要求的时候，有时一个mapreduce程序时完成不了的，往往需要多个mapreduce程序，这个时候就要牵扯到各个任务之间的依赖关系，所谓依赖就是一个M/R Job 的处理结果是另外的M/R 的输入，以此类推，完成几个mapreduce程序，得到最后的结果，下面将直接贴出一个例子的全部代码，因为为了找一个完整的例子实在是太难了，今天找了半天才把这个问题解决。
代码描述，一共包括两个mapreduce作业。也就是两个map和两个reduce函数，第一个job处理后的输出是第二个job的输入，然后交由第二个job来做出最后的结果，代码里面的关键的地方 ...
情景一：
当在win7下面的eclipse装好插件，首次运行M/R程序的时候，想把文件从win7下面的本地文件传到HDFS文件系统上面：（点击Upload files to DFS 或者其他）
会遇到一个提示，如下：
然后点击OK，就可以了，然后你的文件就没有传上去！！！
情景二：
我们即使自己手动在将linux本地的文件传到HDFS中区以后，配置好之后运行，还是会出现下面的错误：
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessCont ...
参数 取值 备注
fs.default.name
NameNode 的URI。
hdfs://主机名/
dfs.hosts/dfs.hosts.exclude
许可/拒绝DataNode列表。
如有必要，用这个文件控制许可的datanode列表。
dfs.replication
默认： 3
数据复制的分数
dfs.name.dir
举例：/home/username/hado
在hadoop中每个reduce的输入的key都是有序的，而value则是无序的。而且同一个job运行多次，由于map完成顺序不同，reduce收到的value顺序是不固定的。那如何才能实现reduce收到有序的value呢？这就需要Secondary Sort。
Secondary Sort要解决的问题：reduce收到的value有序。
这里举一个场景，来说明Secondary Sort是如何实现的。假设我们有若干公司若干部门的人数，数据样例如下：
公司名 部门的人数
Taobao 52Taobao 31Taobao 67Alipay 10Alipay 36Alip ...
一首“国歌”闹铃拉开了一天的序幕，步行5分钟走到吃早餐的地方，可能是地方不同，来自南方的孩子总会吃不惯北方的食物，豆腐脑里面放的是卤水（一种黑色的酱），我们那边放的是白糖，所以还是没有勇气买上一碗尝一尝这北方的风味，胡乱吃点，喝碗不放糖的豆浆，一天的生活开始了。
来到坐公交的地方，神经一下崩得老紧，等车的人让我深深的感受到了中国人实在是多，“513到了“，夹杂着浓浓的河北腔（这边住的基本上是外省的人），一下子每个人的脑袋都探得老高，接下来就是肉贴肉，此处省去很多字。。。
20几分钟后下车，接下来是 更大的挑战，坐（挤）地铁 ，上班时的高峰 ...
在老版本的MySQL 3.22中，MySQL的单表限大小为4GB，当时的MySQL的存储引擎还是ISAM存储引擎。但是，当出现MyISAM存储引擎之后，也就是从MySQL 3.23开始，MySQL单表最大限制就已经扩大到了64PB了（官方文档显示）。也就是说，从目前的技术环境来看，MySQL数据库的MyISAM存储 引擎单表大小限制已经不是有MySQL数据库本身来决定，而是由所在主机的OS上面的文件系统来决定了。
而MySQL另外一个最流行的存储引擎之一Innodb存储数据的策略是分为两种的，一种是共享表空间存储方式，还有一种是独享表空间存储方式。
当使用共享表空间 ...
在java的继承中有个名词叫“致命方块”，是翻译过来的，原来的英文是“deadly diamond of death”具体的含义如下：
如图：
类B和类C均继承自A，而类D分别继承了B和C，如果B或者C重写了类A中的某个方法methodA，而类D没有重写类A的这个methodA，那么当类D调用methodA方法时，到底该调用哪个方法呢？
而根据图形，我们一看就知道它很像扑克牌里面的方块，所以将该问题称为致命方块。
所以在java中一个类不能同时继承几各类。
要处理复杂关系的数据，一个工程里面绝对不止一个MapReduce作业，当有多个MapReduce作业时， 并且每个作业之间有依赖关系，所谓的依赖就是一个作业得到的结果是另外一个作业的输入，这个时候我们可 以使用JobControl吊用其中的的addDepending()方法，管理每个MapReduce工作间的依赖关系，具体的 示例如下：
step1:
//设置各个Configuration
Configuration Aconf = new Configuration();
Configuration Bconf = ...