mysql:4566

 cecil syskai" <syskai_1@xxxxxxxxxx>
株セシール システム開発室
です。

須藤　様
fujiyama　様
志村＠つみきソフトウェア　様
とみた　様
鵜飼@富士通研究所　様
fujiyama　様

ありがとうございました。

＜＜＜ Mysql の raid 機能についてのテスト結果＞＞＞
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
目的：
１０～２０ＧＢのテーブルを作成する必要があり、linux
の２ＧＢの壁を越えるため、ＲＡＩＤ機能をテスト。

ＯＳ：
Redhat7.1 linux
マシーン：
IBM netfinity 7100 ハード RAID 5 メモリ 3GB  容量 約 170GB
Mysql:3-23-43

結論と結果：
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
①Redhat7.1 (linux カーネル 2.4 ファイルシステム ext2)
においては、２ＧＢの壁はなく、単一ファイル（ repl_tbl.MYD)
で２ＧＢを越えるテーブル作成ができる。
（LFS ?  日経Ｌｉｎｕｘ１０月）
テーブル (repl_tbl) を作り、その際 max_rows に 60000000 を指定。２４４バイト
の
レコードを 34999999 件書き込みを行った。（ sql:insert)
その結果、 8539999756 バイトのテーブルを作成
| repl_tbl  | MyISAM | Dynamic    | 34999999 |            244 |  8539999756
| 28
1474976710655 |    358131712 |         0 |           NULL | 2001-10-26
08:46:13
| 2001-10-26 11:42:37 | NULL       | max_rows=60000000

[ repldb]# ls -l
合計 30921204
drwx------    2 mysql    mysql        4096 10月 25 08:42 00
drwx------    2 mysql    mysql        4096 10月 25 08:42 01
drwx------    2 mysql    mysql        4096 10月 25 08:42 02
drwx------    2 mysql    mysql        4096 10月 25 08:42 03
drwx------    2 mysql    mysql        4096 10月 25 08:42 04
drwx------    2 mysql    mysql        4096 10月 25 08:42 05
drwx------    2 mysql    mysql        4096 10月 25 08:42 06
drwx------    2 mysql    mysql        4096 10月 25 08:42 07
drwx------    2 mysql    mysql        4096 10月 25 08:42 08
drwx------    2 mysql    mysql        4096 10月 25 08:42 09
-rw-rw-rw-    1 mysql    mysql    21768888655 10月 25 18:07 repl_out.txt
-rw-rw----    1 mysql    mysql    8539999756 10月 26 11:42 repl_tbl.MYD
-rw-rw----    1 mysql    mysql    358131712 10月 26 11:42 repl_tbl.MYI
-rw-rw----    1 mysql    mysql        8590 10月 26 08:46 repl_tbl.frm
-rw-rw----    1 mysql    mysql    965206016 10月 25 20:14 repl_tbl2.MYI
-rw-rw----    1 mysql    mysql        8590 10月 25 08:42 repl_tbl2.frm
|         |
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
② mysql の RAID 機能は十分使用できると思われる。

１０分割（ストライピング）されたテーブルを作り、その際 max_rows
に 60000000 を指定。２４４バイトのレコードを約９０００万件書き込
みを行った。（ sql:insert)
１分割ファイルごと約２．１９６ＧＢのファイル（ repl_tbl2.MYD) が
でき、トータル 21959999756 バイトのテーブルとなった。
（ max_rows=60000000 と指定しても、６０００万件で書き込み中止と
はならなかった）

mysql> show table status;
| Name      | Type   | Row_format | Rows     | Avg_row_length | Data_length
| Ma
x_data_length | Index_length | Data_free | Auto_increment | Create_time
| Update_time         | Check_time | Create_options
                          | Comment |
| repl_tbl2 | MyISAM | Dynamic    | 89999999 |            244 | 21959999756
| 28
1474976710655 |    965206016 |         0 |           NULL | 2001-10-25
18:13:53
| 2001-10-25 20:14:41 | NULL       | max_rows=60000000 raid_type=striped
raid_ch
unks=10 raid_chunksize=10 |         |

Max_data_length=281474976710655  ２８１ＧＢ？？

このテーブルに
・簡単な select 操作
・テキストに吐き出し、戻す操作
・簡単な select 操作
を行ったが、特に問題はなかった。
=============================
| repl_tbl2 | MyISAM | Dynamic    | 89999999 |            244 | 21959999756
| 28
1474976710655 |    965206016 |         0 |           NULL | 2001-10-25
08:42:47
| 2001-10-25 14:41:29 | NULL       | max_rows=60000000 raid_type=striped
raid_ch
unks=10 raid_chunksize=10 |         |

mysql> select count(*) from repl_tbl2;
+----------+
| count(*) |
+----------+
| 89999999 |
+----------+

# cd /s01/repldb/00
# ls -l
-rw-rw----    1 mysql    mysql    2196008960 10月 25 14:41 repl_tbl2.MYD
# cd ..;cd 01;ls -l
-rw-rw----    1 mysql    mysql    2196001036 10月 25 14:41 repl_tbl2.MYD
# cd ..;cd 02;ls -l
-rw-rw----    1 mysql    mysql    2195998720 10月 25 14:41 repl_tbl2.MYD
# cd ..;cd 03;ls -l
-rw-rw----    1 mysql    mysql    2195998720 10月 25 14:41 repl_tbl2.MYD
# cd ..;cd 04;ls -l
-rw-rw----    1 mysql    mysql    2195998720 10月 25 14:41 repl_tbl2.MYD
# cd ..;cd 05;ls -l
-rw-rw----    1 mysql    mysql    2195998720 10月 25 14:41 repl_tbl2.MYD
# cd ..;cd 06;ls -l
-rw-rw----    1 mysql    mysql    2195998720 10月 25 14:41 repl_tbl2.MYD
# cd ..;cd 07;ls -l
-rw-rw----    1 mysql    mysql    2195998720 10月 25 14:41 repl_tbl2.MYD
# cd ..;cd 08;ls -l
-rw-rw----    1 mysql    mysql    2195998720 10月 25 14:41 repl_tbl2.MYD
# cd ..;cd 09;ls -l
-rw-rw----    1 mysql    mysql    2195998720 10月 25 14:41 repl_tbl2.MYD

mysql> select * into outfile 'repl_out.txt' from repl_tbl2;
Query OK, 89999999 rows affected (1 hour 41 min 3.08 sec)

drwx------    2 mysql    mysql        4096 10月 25 08:42 00
drwx------    2 mysql    mysql        4096 10月 25 08:42 01
drwx------    2 mysql    mysql        4096 10月 25 08:42 02
drwx------    2 mysql    mysql        4096 10月 25 08:42 03
drwx------    2 mysql    mysql        4096 10月 25 08:42 04
drwx------    2 mysql    mysql        4096 10月 25 08:42 05
drwx------    2 mysql    mysql        4096 10月 25 08:42 06
drwx------    2 mysql    mysql        4096 10月 25 08:42 07
drwx------    2 mysql    mysql        4096 10月 25 08:42 08
drwx------    2 mysql    mysql        4096 10月 25 08:42 09
                                ＜＜テキスト約２１．７ＧＢ＞＞
-rw-rw-rw-    1 mysql    mysql    21768888655 10月 25 18:07 repl_out.txt
-rw-rw----    1 mysql    mysql    965206016 10月 25 14:41 repl_tbl2.MYI
-rw-rw----    1 mysql    mysql        8590 10月 25 08:42 repl_tbl2.frm
# df
Filesystem           1k-blocks      Used Available Use% Mounted on
/dev/sda1              8064400   1677312   5977440  22% /
/dev/sda5            164864672  48029636 108460392  31% /s01
# head repl_out.txt
1
MMAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAABBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBbbMMMMMMMMMMMMMMMMMMMMMMMMM
MMMM
MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMmmmmmmmmmmmmmmmmmmmmmmmmmMM
MMMM

# tail repl_out.txt
89999999
MMAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAAAABBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBbbMMMMMMMMMMMMMMMMM
MMMM
MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMmmmmmmmmmmmmmmmmmmm
mmmm
mmMMMMMM

=============================
mysql> delete from repl_tbl2;         ＜＜レコード削除＞＞
Query OK, 0 rows affected (33.66 sec)

# ls -l
合計 21279528
drwx------    2 mysql    mysql        4096 10月 25 08:42 00
drwx------    2 mysql    mysql        4096 10月 25 08:42 01
drwx------    2 mysql    mysql        4096 10月 25 08:42 02
drwx------    2 mysql    mysql        4096 10月 25 08:42 03
drwx------    2 mysql    mysql        4096 10月 25 08:42 04
drwx------    2 mysql    mysql        4096 10月 25 08:42 05
drwx------    2 mysql    mysql        4096 10月 25 08:42 06
drwx------    2 mysql    mysql        4096 10月 25 08:42 07
drwx------    2 mysql    mysql        4096 10月 25 08:42 08
drwx------    2 mysql    mysql        4096 10月 25 08:42 09
-rw-rw-rw-    1 mysql    mysql    21768888655 10月 25 18:07 repl_out.txt
-rw-rw----    1 mysql    mysql           0 10月 25 18:13 repl_tbl2.MYI
-rw-rw----    1 mysql    mysql        8590 10月 25 08:42 repl_tbl2.frm
[ 00]# ls -l
合計 0
-rw-rw----    1 mysql    mysql           0 10月 25 18:14 repl_tbl2.MYD
[ 00]# cd ..;cd 01;ls -l
合計 0
-rw-rw----    1 mysql    mysql           0 10月 25 18:14 repl_tbl2.MYD
[ 01]# cd ..;cd 02;ls -l
合計 0
-rw-rw----    1 mysql    mysql           0 10月 25 18:14 repl_tbl2.MYD
[ 02]# cd ..;cd 09;ls -l
合計 0
-rw-rw----    1 mysql    mysql           0 10月 25 18:13 repl_tbl2.MYD
[ 09]# df
Filesystem           1k-blocks      Used Available Use% Mounted on
/dev/sda1              8064400   1677312   5977440  22% /
/dev/sda5            164864672  25619592 130870436  17% /s01

=============================
mysql> load data infile 'repl_out.txt' replace into table repl_tbl2;
Query OK, 89999999 rows affected (1 hour 57 min 34.07 sec)

-rw-rw----    1 mysql    mysql    2196008960 10月 25 20:14 repl_tbl2.MYD
[ 00]# cd ..;cd 01;ls -l
-rw-rw----    1 mysql    mysql    2196001036 10月 25 20:14 repl_tbl2.MYD
[ 01]# cd ..;cd 02;ls -l
-rw-rw----    1 mysql    mysql    2195998720 10月 25 20:14 repl_tbl2.MYD
[ 02]# cd ..;cd 03;ls -l
-rw-rw----    1 mysql    mysql    2195998720 10月 25 20:14 repl_tbl2.MYD

[ 08]# cd ..;cd 09;ls -l
-rw-rw----    1 mysql    mysql    2195998720 10月 25 20:14 repl_tbl2.MYD

| repl_tbl2 | MyISAM | Dynamic    | 89999999 |            244 | 21959999756
| 28
1474976710655 |    965206016 |         0 |           NULL | 2001-10-25
18:13:53
| 2001-10-25 20:14:41 | NULL       | max_rows=60000000 raid_type=striped
raid_ch
unks=10 raid_chunksize=10 |         |

mysql> select * from repl_tbl2 where repl_key=89999999;
| repl_key | repl_c
| 89999999 |
MMAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAABBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBbbMMMMMMMMMMMMMMMMMMMM
MMMM
MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMmmmmmmmmmmmmmmmmmmmmmm
mmmM
MMMMM |
1 row in set (0.00 sec)

mysql> select * from repl_tbl2 where repl_key=90000000;
Empty set (0.00 sec)

mysql> select count(*) from repl_tbl2;
+----------+
| count(*) |
+----------+
| 89999999 |
+----------+
1 row in set (0.00 sec)

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
＜＜データ書き込みＰＧ：ＰＥＲＬのＰＧ＞＞
#!/usr/bin/perl
#########################################################
### repl200
#########################################################
$|=1;

use DBI;
#use Getopt::Long;
#@opt=GetOptions("no:s");

#$nno=$opt_no || die "$0 -no nno\n";

$dbname="repldb";
$hostname="localhost";
$data_s="DBI:mysql:$dbname:$hostname";
$uname="root";
$pwd="";
############### main
###########################################################
#######
  ($gfsec1,$gfmin1,$gfhour1)=(localtime)[0,1,2];
  #print "$gfhour1:$gfmin1:$gfsec1\n";

  $dbh=DBI->connect($data_s, $uname, $pwd) || die "mysql repldb ERR";

  $sss=$dbh->tables();
  #print ":::rows=$DBI::rows\n";
  #print "No=$nno $sss\n";

##goto MMM;

  $cnt=$cnt2=0;
  for ($idx=1; $idx < 90000000;$idx++)
  {
    $cnt++; $cnt2++;
        ##print "idx=$idx\n";
        if ($cnt2 > 99999)
        {  print "No=$nno cnt=$cnt\n"; $cnt2=0;
       ($gfsec2,$gfmin2,$gfhour2)=(localtime)[0,1,2];
       print "$gfhour1:$gfmin1:$gfsec1\n";
       print "$gfhour2:$gfmin2:$gfsec2\n";
    }
    ##$rr=int( rand(999999) );
        $statement="insert into repl_tbl2 set
repl_c=\'MMAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAABBBBBBBBBBBBBBBBB
BBBB
BBBBBBBBBBBBBBBBbbMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM
MMMM
MMMMMMMMMMMMMMMMmmmmmmmmmmmmmmmmmmmmmmmmmMMMMMM\',repl_key=$idx";
        $sth=$dbh->prepare($statement) or &print_error("エラーが発生しまし
た。(p
repare)");

    $rv=$sth->execute or &print_error("エラーが発生しました。(SQL
EXECUTE.select
 koza)");
    ###$dbh->commit;

    ##sleep 10;
  }
  $sth->finish;

MMM:

  $dbh->disconnect;
     ($gfsec2,$gfmin2,$gfhour2)=(localtime)[0,1,2];
     print "$gfhour1:$gfmin1:$gfsec1\n";
     print "$gfhour2:$gfmin2:$gfsec2\n";

exit;
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
＜＜ max_rows を指定しないときのエラーメッセージ＞＞
No= cnt=17600000
13:6:46
15:12:5
DBD::mysql::st execute failed: The table 'RRR_tbl' is full at rrr200.pl line
45.
Undefined subroutine &main::print_error called at rrr200.pl line 45.