ぼっちだけど、なんとか生きてます。

    駄目人間道。それはアニメやゲームの感想やら欝日記やら統一されていない無法地帯。

    スポンサーサイト 

    上記の広告は1ヶ月以上更新のないブログに表示されています。
    新しい記事を書く事で広告が消せます。

    ( --/--/-- --:-- ) Category スポンサー広告 | コメント(-) | トラックバック(-)

    Hadoopメモ 

    業務でHadoop使うことになったんだけど、家でもちょっと勉強したい。
    本も少ないし環境構築どうすんの?って悩んだので個人的メモ。
    cygwinでも作ったんだけど面倒なのでVMでやる方向で。


    ■用意するもの
    ・VM
    真ん中ら辺にある「QuickStart VM」というのをダウンロード。重いのでしばらく放置推奨。
    https://www.cloudera.com/content/support/en/downloads.html

    ・VirtualBox(VMWareでも可)
    https://www.virtualbox.org/

    ・解凍ツール
    ※とりあえず解凍できるならなんでも可
    http://sevenzip.sourceforge.jp/



     

    ■VMのインストール
    インストールというか、落としてきたQuickStart VMをファイル→読み込みでインポートするだけ。
    これだけで環境構築終わり。

    仮想マシンの設定
    一般→高度
    クリップボードの共有、ドラッグ・アンド・ドロップをどちらも双方向に。



    ■細かい設定とか
    上部メニューバーからコマンドプロンプトみたいのを立ち上げる。
    以下をコピペ。
    sudo yum groupinstall "Japanese Support"
    sudo vi /etc/sysconfig/i18n
    日本語に変更↓
    LANG="ja_JP.UTF-8"

    キーボードが日本語になってないようなら変更
    上のバーからSystem→Pre~→keyboard
    Dellのマルチキーボード選択(何でもいい?)
    レイアウトに追加でJapanを選択、言語も日本語を選択
    デフォルトを日本語に念のため英語キーボードは削除
    再起動


    ●操作方法
    Firefoxからマネージャーを立ち上げる
    ユーザー、パス共にCloudera
    ファイル置き場はHueを立ち上げてファイルリンクから確認

    入力フォルダ、出力フォルダをhdfsに作成(もしくはHue上で操作)
    sudo -u hdfs hadoop fs -mkdir /user/cloudera/input
    sudo -u hdfs hadoop fs -chmod 777 /user/cloudera/input
    sudo -u hdfs hadoop fs -mkdir /user/cloudera/output
    sudo -u hdfs hadoop fs -chmod 777 /user/cloudera/output

    ローカルフォルダから入力ファイルとかをコピー
    hadoop fs -put /home/cloudera/testInput/* /user/cloudera/input/


    ●実行の仕方
    エクリプスからエクスポート→jarの作成
    $ hadoop jar example.jar StubDriver /user/cloudera/input /user/cloudera/output/01
    HueのHadoop→ファイルから出力フォルダを確認
    または
    hadoop fs -cat /user/cloudera/output/01/part-r-00000
    とかで見れる

    ※エクリプス上で実行する時
    デバックセッティングを開く
    Argumentタブを開き、入力フォルダと出力フォルダを入れる(ローカルフォルダなので注意)
    VM argmentに下記を入れる(環境によってパスは変更のこと)
    -Xmx1000m -Dhadoop.log.dir=/user/cloudera/hadoop/logs -Dhadoop.log.file=hadoop.log -DHadoop.home.dir=/user/cloudera/hadoop -Dhadoop.id.str=host -Dhadoop.root.logger=INFO,console -Dhadoop.policy.file=hadoop-policy.xml
    Applyを押下し、デバッグ実行


    ●共有フォルダ作成の仕方
    1.Windowsでの操作
    適当なところにフォルダ作成(半角で名前つけること)
    virtualboxのメニューバーから、デバイス→共有フォルダを選択
    作成したフォルダを選び、マウントに使う名前を設定(当然半角)
    ※次回以降も同フォルダを使うなら永続化にチェック

    デバイス→Guest AddtionsのCDを(略

    2.Linuxでの操作
    ポップアップが立ち上がるのでOKを押す
    管理者パスワードはcloudera
    自動的にインストールが始まるはず

    以下を実施(怒られるなら頭にsudoつける)
    yum -y install gcc make
    yum -y install kernel-devel
    export KERN_DIR=/usr/src/kernels/2.6.32-358.2.1.el6.x86_64
    mkdir /mnt/disk
    mount -r /dev/cdrom /mnt/disk/
    cd /mnt/disk
    sh VBoxLinuxAdditions.run

    mkdir /mnt/vb_share
    mount -t vboxsf vb_share(1.で設定したマウントに使う名前) /mnt/vb_share

    起動時に自動でマウントしたい場合には下記を実行
    echo "mount -t vboxsf vb_share /mnt/vb_share" >> ~/.bashrc





    ●参考サイト
    参考にしたサイトとか
    http://www.mwsoft.jp/programming/hadoop/cdh4_virtualbox.html
    http://www.ne.jp/asahi/hishidama/home/tech/apache/hadoop/sample.html#h_IntSumReducer
    http://www.ne.jp/asahi/hishidama/home/tech/apache/hadoop/hadoopCDH4.html

    関連記事
    スポンサーサイト
    ( 2014/03/17 00:26 ) Category パソコン | コメント(0) | トラックバック(0)
    コメントの投稿













    管理者にだけ表示を許可する
    FC2カウンター
    プロフィール

    Qtarow

    ニックネーム:Qtarow
    誕生日:7月16日
    血液型:A型

    ようこそ我が駄目人間道へ!




    プロフィールページを見る
     

    リンク

    *上(別窓)のメールフォームが表示・動作しない場合はこちら



    上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。