最近2018中文字幕在日韩欧美国产成人片_国产日韩精品一区二区在线_在线观看成年美女黄网色视频_国产精品一区三区五区_国产精彩刺激乱对白_看黄色黄大色黄片免费_人人超碰自拍cao_国产高清av在线_亚洲精品电影av_日韩美女尤物视频网站

魯春利的工作筆記，誰說程序員不能有文藝范？

成都創(chuàng)新互聯(lián)堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的壽陽網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

---

1、安全模式

    系統(tǒng)啟動的時候會自動進入安全模式，如果DN節(jié)點正常那么經(jīng)過30秒之后安全模式會自動關(guān)閉。

    （1）、參數(shù)定義

    dfs.replication：設(shè)置數(shù)據(jù)塊應(yīng)該被復(fù)制的份數(shù)；
    dfs.replication.min：所規(guī)定的數(shù)據(jù)塊副本的最小份數(shù)；
    dfs.safemode.threshold.pct：指定應(yīng)有多少比例的數(shù)據(jù)塊滿足最小副本數(shù)要求。
    a. 當小于這個比例，那就將系統(tǒng)切換成安全模式，對數(shù)據(jù)塊進行復(fù)制；
    b. 當大于該比例時，就離開安全模式，說明系統(tǒng)有足夠的數(shù)據(jù)塊副本數(shù)，可以對外提供服務(wù)。
    c. 小于等于0意味不進入安全模式，等于1意味一直處于安全模式。

    （2）、dfs.replication.min存在的意義

    副本數(shù)按dfs.replication設(shè)置，如果節(jié)點失效將導(dǎo)致數(shù)據(jù)塊副本數(shù)降低，當?shù)陀赿fs.replication.min后，系統(tǒng)再在其他節(jié)點處復(fù)制新的副本。如果該數(shù)據(jù)塊的副本經(jīng)常丟失，導(dǎo)致在太多的節(jié)點處進行了復(fù)制，那么當超過dfs.replication.max的副本數(shù)（默認為512），就不再復(fù)制了。

    （3）、安全模式

    NameNode在啟動的時候首先進入安全模式，如果datanode丟失的block達到一定的比例（1-dfs.safemode.threshold.pct），則系統(tǒng)會一直處于安全模式狀態(tài)即只讀狀態(tài)。

    dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS啟動的時候，如果DataNode上報的block個數(shù)達到了元數(shù)據(jù)記錄的block個數(shù)的0.999倍才可以離開安全模式，否則一直是這種只讀模式。如果設(shè)為1則HDFS永遠是處于SafeMode。

     （4）、通過命令操作  

[hadoop@nnode hadoop2.6.0]$ hdfs dfsadmin -help safemode
-safemode :  Safe mode maintenance command.
                Safe mode is a Namenode state in which it
                        1.  does not accept changes to the name space (read-only)
                        2.  does not replicate or delete blocks.
                Safe mode is entered automatically at Namenode startup, and
                leaves safe mode automatically when the configured minimum
                percentage of blocks satisfies the minimum replication
                condition.  Safe mode can also be entered manually, but then
                it can only be turned off manually as well.

    enter：進入安全模式；

    leave：強制NN離開安全模式；

    get：返回安全模式是否開啟的信息；

    wait：等待，一直到安全模式結(jié)束。

2、磁盤限額

hdfs dfsadmin
    [-setQuota  ...]
    [-clrQuota ...]
    [-setSpaceQuota  ...]
    [-clrSpaceQuota ...]
    
hdfs dfs
    [-count [-q] [-h]  ...]

    示例：

[hadoop@nnode hadoop2.6.0]$ hdfs dfs -ls /data
Found 2 items
-rw-r--r--   2 hadoop hadoop         47 2015-06-09 17:59 /data/file1.txt
-rw-r--r--   2 hadoop hadoop         36 2015-06-09 17:59 /data/file2.txt

[hadoop@nnode hadoop2.6.0]$ hdfs dfsadmin -setQuota 4 /data

[hadoop@nnode hadoop2.6.0]$ hdfs dfs -count /data
           1            2                 83       /data        # 47 + 36 = 83

    查看count的幫助信息：

[hadoop@nnode hadoop2.6.0]$ hdfs dfs -help count
-count [-q] [-h]  ... :
  Count the number of directories, files and bytes under the paths that match the 
  specified file pattern.  
  
  The output columns are:
  DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME 
  or
  QUOTA REMAINING_QUOTA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME
  The -h option shows file sizes in human readable format.

    上傳文件：

[hadoop@nnode hadoop2.6.0]$ hdfs dfs -put NOTICE.txt /data/
[hadoop@nnode hadoop2.6.0]$ hdfs dfs -put README.txt /data/
put: The NameSpace quota (directories and files) of directory /data is exceeded: quota=4 file count=5
[hadoop@nnode hadoop2.6.0]$ 

# data目錄本身占一個限額
[hadoop@nnode hadoop2.6.0]$ hdfs dfs -ls /data
Found 3 items
-rw-r--r--   2 hadoop hadoop        101 2015-11-28 21:02 /data/NOTICE.txt
-rw-r--r--   2 hadoop hadoop         47 2015-06-09 17:59 /data/file1.txt
-rw-r--r--   2 hadoop hadoop         36 2015-06-09 17:59 /data/file2.txt
[hadoop@nnode hadoop2.6.0]$ hdfs dfs -count /data
           1            3                184 /data
[hadoop@nnode hadoop2.6.0]$ hdfs dfsadmin -clrQuota /data

[hadoop@nnode hadoop2.6.0]$ hdfs dfs -rm /data/NOTICE.txt
15/11/28 21:21:24 INFO fs.TrashPolicyDefault: Namenode trash configuration: 
Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /data/NOTICE.txt
[hadoop@nnode hadoop2.6.0]$
[hadoop@nnode hadoop2.6.0]$ hdfs dfsadmin -setSpaceQuota 200 /data
[hadoop@nnode hadoop2.6.0]$ hdfs dfs -ls /data
Found 2 items
-rw-r--r--   2 hadoop hadoop         47 2015-06-09 17:59 /data/file1.txt
-rw-r--r--   2 hadoop hadoop         36 2015-06-09 17:59 /data/file2.txt
[hadoop@nnode hadoop2.6.0]$ hdfs dfs -put README.txt /data
15/11/28 21:31:08 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: The DiskSpace quota of /data is 
exceeded: quota = 200 B = 200 B but diskspace consumed = 268435622 B = 256.00 MB

[hadoop@nnode hadoop2.6.0]$ hdfs dfsadmin -clrSpaceQuota /data

3、動態(tài)修改復(fù)制因子

hdfs dfs
    [-setrep [-R] [-w]   ...]

    查看副本數(shù)，現(xiàn)在是2：

-rw-r--r--   2 hadoop hadoop         47 2015-06-09 17:59 /data/file1.txt
-rw-r--r--   2 hadoop hadoop         36 2015-06-09 17:59 /data/file2.txt

    設(shè)置文件file1.txt的副本數(shù)為1：

[hadoop@nnode hadoop2.6.0]$ hdfs dfs -setrep 1 /data/file1.txt
Replication 1 set: /data/file1.txt
[hadoop@nnode hadoop2.6.0]$ hdfs dfs -ls /data
Found 2 items
-rw-r--r--   1 hadoop hadoop         47 2015-06-09 17:59 /data/file1.txt
-rw-r--r--   2 hadoop hadoop         36 2015-06-09 17:59 /data/file2.txt
[hadoop@nnode hadoop2.6.0]$

當前標題：Hadoop2.6.0學(xué)習(xí)筆記（四）HDFS安全模式磁盤限額復(fù)制因子
文章源于：http://fisionsoft.com.cn/article/goohhj.html