s_tajima:TechBlog

渋谷で働くインフラエンジニアのTechブログです。

2014-01-01から1年間の記事一覧

dockerの検証: docker registryが起動しない

docker registry(https://github.com/docker/docker-registry)の検証のため、 Quick startに書かれている通り docker runをしてみた。 # docker run -e SETTINGS_FLAVOR=s3 \ > -e AWS_REGION=ap-northeast-1 \ > -e AWS_BUCKET=<MY_BUCKET_NAME> \ > -e STORAGE_PATH=/regis</my_bucket_name>…

re:Invent 2014 参加レポート

ラスベガスで行われたre:invent 2014に参加してきました。 参加したSessionやイベントのまとめです。(Sessionはスライドと動画が順次公開されると思うので簡単に。) KeyNoteについてはすでに日本語でも英語でも情報が多く出回っているので割愛。 GameDay (11…

CentOS7の検証: nscdの起動がうまくいかない件

nscd-2.17-55.el7.x86_64での話。nscdのパッケージをインストールし、起動しようとしても そのままコマンドが止まってしまう。 # systemctl start nscd/var/log/messagesを見てみると、 Aug 6 17:44:26 c7-build01 systemd: PID file /run/nscd/nscd.pid not…

CentOS7の検証: CA証明書の管理方針が変更に

概要 CentOS7の検証をしていると、ca-bundle.crtがシンボリックリンクになっていることに気がついた。 $ ll /etc/pki/tls/certs/ca-bundle.crt lrwxrwxrwx 1 root root 49 7月 16 17:04 /etc/pki/tls/certs/ca-bundle.crt -> /etc/pki/ca-trust/extracted/pe…

Puppet3.6環境でPackageを定義するとWarningが

Puppet3.6環境で、 package { "openssl": ensure => installed, }のように、packageの定義を記載すると、puppet適用時に Warning: The package type's allow_virtual parameter will be changing its default value from false to true in a future release.…

Puppet3.6環境のpuppet.confでmodulepathがdeprecatedとなっている件

puppet-masterのversion3.6.2をセットアップしていて、 Jul 29 14:47:20 localhost puppet-master[2042]: Setting modulepath is deprecated in puppet.conf. See http://links.puppetlabs.com/env-settings-deprecations と怒られたので http://links.puppe…

MySQLのリクエストをHAproxy経由にした時のパフォーマンスの計測

目的 現在運用している環境で、複数台のSlaveの参照をインフラレイヤで振り分けるためにHAproxyの導入を検討している。 HAproxyを経由した場合とそうでない場合に、パフォーマンス/負荷の点でどれほど差があるのかを検証してみた。尚、HAproxyは各Webサーバ…

RDSからのinnodb_file_per_tableについて

背景 一つ前の記事とも関連するが、 RDSでテーブル数のそれほど多くないインスタンスでも、 こちらの記事にかかれているような警告がでてしまうことがある模様。http://dev.classmethod.jp/server-side/db/rds-mysql-innodb_file_per_table/ DB Instance XXX…

MySQLのinnodb_file_per_tableについての検証

背景 innodb_file_per_tableを有効にしている場合に、 テーブル数が多くなるとMySQLの起動/停止や、innodbのクラッシュリカバリに時間がかかるようになるとの噂を聞いたので、 その辺りを含めた簡単な検証をしてみたメモ。 あまりしっかりとした調査はしてい…

MHA + HAproxyによるMySQLの冗長構成の検証 (フェイルオーバー編)

前回の記事で作成したMHA + HAproxyのMySQLクラスタで、フェイルオーバーの実験をしてみた。 MySQL Cluster of MHA + HAproxy (FAILOVER) from Satoshi Tajima 想定する状況 フェイルオーバー時のレプリケーションの状態は、上のスライドの図1のような状態を…

MHA + HAproxyによるMySQLの冗長構成の検証 (環境構築編)

現在運用中の、Heartbeat + DRBDによるMySQLクラスタ環境の改善を試みるために、 MHA + HAproxyによるMySQLクラスタ環境をテスト中。今回は環境を整えるところまで。 環境構築 AWS上に以下の図と文章で示すような環境を構築。 MySQL Cluster of MHA + HAprox…

fluentdの設定管理サーバーを構築

概要 fluentdによるログの回収の構成を広げていくと、 多くのインスタンスにfluentdがインストールされることになるため、 全体に影響するような設定変更が面倒になりそうである。そこで、fluentdの設定ファイルの中で include http://config-server/path/こ…

ElasticSearchのIndexをローテートするスクリプト作成

Kibana3でログを解析する環境を構築する際、 ElasticSearch上にいつまでもログを残しておけないので定期的にIndexを削除するスクリプトを作成。仕様としては以下のような感じ。 ElasitcSearch上にあるIndex名を最初に取得 [PREFIX]-[YYYY].[MM] もしくは [PR…

ElasticSearchのindexの圧縮設定に関するベンチマーク

ElasticSearchのmappingの設定で、 compressに関する設定がindexのサイズ、応答性能にどう影響するかのベンチマークを取った。 テスト環境 ベンチマークは以下のような構成で実施。上記のような構成で、①indexサイズ, ②応答性能(httpdの%Drequesttime_micros…

Fluentd forwardを先の名前解決結果によって切り替える

やりたいこと 以下のような図で表されるような構成をとっている場合に、 aggregator A -> aggregator Bへのforward先切り替えを、名前解決によって行いたい。 検証 以下の様な設定でテスト この設定をした上で名前解決されるIPを変更してみる。 結果は失敗。…

ElasticSearch + Kibana3のアクセスコントロールについて

Elasticsearch + Kibana3でログ解析環境を構築する際、アクセスコントロールの設定に困ったのでそれを解決したというメモ通常Kibana3は、以下の図のようにブラウザが直接ElasticSearchにリクエストをかけている。ただし、この状態ではKibana3の利用者が自由…