脳ざらし紀行

_ [ネット] ボット

User-Agentが

Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)

なボットが来襲しまくり。xxx.ppp.dion.ne.jp と xxx.tokyo.ocn.ne.jp と xxx.o-tokyo.nttpc.ne.jpから。

_ [ネット] Google File System

読んだ。メモ。

数十TBのデータを扱うためのシステム。

Googleの検索システムだけでなく、研究、開発のデータを扱うときにも使われている。Google社内での使われ方に特化したデザインにファイルシステムはなっている。

sequential な read と append が圧倒的に多いのでそれに特化している。

1台の master と 数百台の chunkserver が1つの cluster を構成する。これに 数百台のクライアントが接続する。chunkserverは Linux マシン。

master がファイルシステムのメタデータを一手に管理する。リバランシング、ガーベッジコレクションも master が行う。

１つのファイルは複数の固定サイズの chunk に分割されて、chunkserver に Linuxのファイルシステムの通常のファイルとして保存される。このとき、1つの chunk は3台の chunkserver に複製されて保存される。

chunkのサイズは64MB。64KBごとに checksum を計算して、chunkserver に記憶。読み出す時は checksum をチェックしてから、クライアントにデータを送信する。

クライアントがデータを読み出す時。クライアントはまず masterに接続して、ファイル名と off setを送信。すると、master はファイルの該当する部分の chunk を保存している複数の chunkserver の名前を返す。クライアントはもっとも近い chunkserver に接続して直接データを読みとる。

データのやりとりには masterを経由しない。 masterがボトルネックになるのを防いでいる。

このファイルシステムにはキャッシュは存在しない。個々の chunkserverには Linuxファイルシステムのキャッシュが当然存在するけど。

同じファイルに同時に appendできる。

ファイルの作成、書き込む、追加などは全て masterにログが保存される。これはリモートにもバックアップが保存される。このデータがシステムの生命線。

_ icewm 1.2.13

でた。