ブログ

割とコンピュータよりの情報をお届けします。

TakeMe

SQLiteのデータベースファイルへの同時アクセス3

先の記事の例でSQLiteで操作している部分は良いのだが,おまけのような形でつけてしまったMicrosoft Chart Controlsへのバインドに問題があることが分かった.

主に問題なのは読み込みの例で出したコードである.
this.chart1.DataBind();を最初に呼ぶのは問題ないが,毎回呼ぶと相当な負荷がかかるのだ.10000点などのプロットの場合には一瞬でもCPU負荷が100%近くに上昇してしまう.
DataBindはPointsバッファの切り替えを伴うので大きな負荷になってしまう.
Timerなどで周期的に実行する場合には,一回目の書き込みにはDataBindを使用してすでにPointがあるSeriesに対しては点の追加で対応すべき.(もちろん数珀点程度の更新なら問題ない)

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Data.SQLite;

namespace SQLView2
{
    public partial class Form1 : Form
    {
        private System.Data.SQLite.SQLiteConnection cn;
        private DataSet ds;
        private System.Data.SQLite.SQLiteDataAdapter da;

        public Form1()
        {
            InitializeComponent();

            SQLiteConnectionStringBuilder sqlConnectionSb = new SQLiteConnectionStringBuilder { DataSource = "../../../SQLite2/bin/Debug/test.db" };
            this.cn = new SQLiteConnection(sqlConnectionSb.ToString());
            this.cn.Open();

            ds = new DataSet();
            da = new SQLiteDataAdapter();
            var cmd = new SQLiteCommand(cn);
            cmd.CommandText = "SELECT * FROM test ORDER BY time asc";
            da.SelectCommand = cmd;

            da.Fill(ds, "test");
            this.dataGridView1.DataSource = ds.Tables["test"];

            chart1.Series[0].XValueMember = "time";// チャートへのバインド
            chart1.Series[0].YValueMembers = "value";
            this.chart1.DataSource = ds.Tables["test"];
            this.chart1.DataBind();
        }

        private void timer1_Tick(object sender, EventArgs e)
        {
            if (ds.Tables["test"].Rows.Count > 0)
            {
                DateTime last = (DateTime)ds.Tables["test"].Rows[ds.Tables["test"].Rows.Count - 1][0];
                var cmd = new SQLiteCommand(cn);
                cmd.CommandText = "SELECT * FROM test WHERE time > "
                    + $"'{last.ToString("yyyy-MM-dd HH:mm:ss.fff")}'"
                    + " ORDER BY time asc";
                da.SelectCommand = cmd;
            }

            this.da.Fill(ds, "test");
            this.chart1.DataBind();
        }

        private void Form1_FormClosing(object sender, FormClosingEventArgs e)
        {
            this.cn.Close();
        }
    }
}

おそらく以下のように直すとよい.

        private void timer1_Tick(object sender, EventArgs e)
        {
            if (ds.Tables["test"].Rows.Count > 0)
            {
                Int32 newDataStartingIndex = ds.Tables["test"].Rows.Count;
                DateTime last = (DateTime)ds.Tables["test"].Rows[ds.Tables["test"].Rows.Count - 1][0];
                var cmd = new SQLiteCommand(cn);
                cmd.CommandText = "SELECT * FROM test WHERE time > "
                    + $"'{last.ToString("yyyy-MM-dd HH:mm:ss.fffffff")}'"
                    + " ORDER BY time asc";
                da.SelectCommand = cmd;
                this.da.Fill(ds, "test");
                for (int i = newDataStartingIndex; i < ds.Tables["test"].Rows.Count; i++)
                {
                    for (int j = 0; j < this.chart1.Series.Count; j++)
                    {
                        this.chart1.Series[j].Points.AddXY(ds.Tables["test"].Rows[i][0], ds.Tables["test"].Rows[i][j + 1]);
                    }
                }
            }
            else
            {
                var cmd = new SQLiteCommand(cn);
                cmd.CommandText = "SELECT * FROM test ORDER BY time asc";
                da.SelectCommand = cmd;
                this.da.Fill(ds, "test");
                this.chart1.DataBind();
            }
        }

時々,書き込みのタイミングと読み込みのタイミングが連続で一致してしまうとBlockに関する例外が発生する.少しタイミングをずらして再読み込みを試みるようにした方が確実のようだ.少しバッファなどを設けて長時間SQLiteの書き込みが連続しないようにしておくとよい(複数行の書き込みはトランザクションにしないとかえってブロック時間が長くなる).

≫ 続きを読む

2019/03/27 コンピュータ   TakeMe

Mondo RescueでConoHaやさくらVPSから持ってきてVirtualBoxに移動した場合

一応Ubuntu の場合Mondo Rescueでローカルに持ってくることができる.
ただし,起動が遅い.5分間くらいかかった.(最初はフリーズしたと思っていた)何かのタイムアウトを待っている.

最も多い原因は,cloud-initである(と思う).
ConoHaなどではコントロールパネルからsshを有効にしたり無効にしたりということを実現するため,ディストリビューションの標準とこの辺に差異がある(ようだ).
一方,ローカルのVirtaulBoxにcloud-init自体が不要になるので,/etc/cloud/cloud-init.disabledを追加すると一時的に無効にできる.
中身は何もいらない.フォルダにこのファイルがあるだけでよい.

また,/etc/network/interfacesも注意だ.
あなたの環境でIPv6が使用できない場合には設定を変更しておかないとこれもまたタイムアウトを待って5分程度待ってしまう.

IPv6が使える環境かどうか,cloud-initが待っていないかどうかをsystemd-analyze blameコマンドで確認されたい.

≫ 続きを読む

2019/03/19 コンピュータ   TakeMe
タグ:新製品

Mondo Rescueで持ってきたISOイメージ使ったVirtualBoxで確認

ひとつ前の記事ではUbuntuでMondo Rescueを使う場合について言っていた.
とりあえずソースやdebパッケージを使用してインストールが終わったら
バックアップを取って確認(いざというときに使えるかを確認)

参考としては以下の2つがよさそう

Mondo Rescue を使って バックアップしてVMへリストア(復元)をやってみた

ポイントとしては,リストアはVPSから持ってきている場合には環境が変わるので/dev/vdaを/dev/sdaに読み替えるという点と,
途中の操作でmkinitrdを実行するようにダイアログがでる.
しかし,Ubuntuでそれはできないので,YESを押して(ここで,chroot /が実行されるのでcd /bootで移動して)
update-initramfs -u
または
mkinitramfs -o /boot/initrd.img-4.4.0-120-genericなどを直接実行
すること.
ただし,Ubuntu 16.04くらいのバージョンでは実行環境がよほどの違いがない限りコマンドを打つ必要はなくそのままexitでもよい.

それから,VirtualBoxでやってみたら,
一応grubをインストールしましたなどと表示は出ているのだけれど
grub-installには失敗していることがある(指示通りなら環境によるが割とうまくいくらしい).その場合には,debianのインストールisoを使って,Rescue Modeでgrub再インストールを選んでもよい.

最新のMondo Rescueではパーティション作成までリストアの途中に行うと,パーティションのUUIDまで持っていってくれるので,fstabやgrub.cfgなどは直接編集することが不要になる.(このあたりは私は間違っていた.Ubuntu 10.04くらいのころの常識で使っていたが,今はダイアログに応えていったほうが簡単である)

(Linuxのバックアップ自体は,/bootなどは除いて/をrsyncでそのままコピーしてもよいがisoファイルが作れるところが良いところかな.
別にシステムが止まっていなくてもよい(ログファイルやデータベースなどで不整合が生じる場合があるので止めた方がよいのはもちろんだが)
べつにdebianのRescue Modeを併用してしまうなら,tarでも...という気もするが,
Modo Rescueを知っている人はわかっていると思われるが,
tarでバックアップを取る・DVDなどのサイズに応じて分割・リストアという操作にユーザーインターフェースを与えてくれているソフトである)

≫ 続きを読む

2019/03/17 コンピュータ   TakeMe

Ubuntu 16.04-17.04世代のMondo Rescueのインストール

Ubuntu 16.04-17.04世代ではすでに,
Mondo Rescueを使う場合にはdebパッケージではなく,使える状態にするのは自分の責任で行うことが推奨されるレベルになってしまったようである.
できないようであれば,商用のバックアップソフトのインストールが強く推奨される.
ただし,商用のソフトなどいくらするのか...

一応Mondo RescueのパッケージはUbuntuのレポジトリにあるらしいが,すでに10.04くらいの時にすでに依存関係が壊れていて実質使えない.
すでに,Ubuntu用はユーザーが必要に応じてソースから用意すべきソフトに変わっている.

ただし,少し前までは公式のhttp://www.mondorescue.org/に各ディストリビューション用にレポジトリが公開されていて,sources.listをインポートして,GPGキーもインポートすれば使えていた.
最近,キーの形式が変更になったためと思われるが,キーのインポートを行っても,
W: GPG エラー: ftp://ftp.mondorescue.org 8 Release: 公開鍵を利用できないため、以下の署名は検証できませんでした: NO_PUBKEY 6BA8C2D220EBFB0E
とでるようになってしまった.
Mondo Rescueの主開発者は不足しており,あらゆるディストリビューションに対して最適なパッケージ提供を行えない状況が発生しているようである.18.04向けなどは提供されていない(提供されるかどうかも開発者の負荷次第とみられるがCentOS/Fedora向けrpmは優先的に取り組んでいるとみられる).

こうなると,apt-getのインストール機能は大抵いうことを聞いてくれなくなる.
一応どうしてもMondo Rescueを使用したい方ように参考ページを紹介 しておく(mondo resucue ubuntu 16.04 (mint linux18)install
たぶん,タイプミスと思われる点があったので,少し直す.(16.04は適宜読み替えて)

# wget http://www.mondorescue.org/ftp/ubuntu/16.04/mondorescue.sources.list
# sudo mv ./mondorescue.sources.list /etc/apt/sources.list.d/
# sudo apt-get update
# sudo apt-get install mondo

(2行目は参考ページではcatを使っているのだが本当はファイルに書き出す「>」などがいるようなきがする)
ただし,どうもこれだけでインストールできない.
afio, gzip, mkisofs, genisoimage, xorriso, isolinuxもインストールしておいてほしい.
適宜 sudo apt-get -f installを使用することを合わせて実施願いたい.
さらにこれでもインストールはうまくいかない.
最後にどうしてもインストールに問題が残った場合には,
ftp://ftp.mondorescue.org/ubuntu/**.**/
からmindi-busyboxやmindiやmondoを手動でダウンロードして
sudo dpkg -iで個別にインストールされたい.

すべてインストールしたら,/etc/apt/sources.list.d/mondorescue.sources.listはこのディレクトリから取り除いておくことをお勧めする.
mondoarchiveを実行できない場合にはインストールに失敗しているか,何かがふそくしていると思うのでsudo dpkg -iなどで不足分をインストールしていってほしい.

実際に使ってみるとわかるが,さらに参考「VPSをMONDO RESCUEでバックアップ」の最後の方の/etc/mindi/mindi.confの編集で
「EXTRA_SPACEとBOOT_SIZEを大きめにする」も実施が必要.

≫ 続きを読む

2019/03/16 コンピュータ   TakeMe

SQLiteのデータベースファイルへの同時アクセス2

先の記事の例がSQLiteが直接 DATETIMEを記録する型を持たずTEXTやNUMERIC(数値型でパースを試みてダメならTEXTで記録する型)に直すということについて考察が抜けている(あえてINTEGERに直していた)

どうも以下のようにしたらうまく保存できるようです.
SELECTの時にdatetime()に戻す方法もあるが,DateTimeの桁がおちてしまう(秒未満).

さらに細かくいうと,yyyy-MM-dd HH:mm:ss.fffは本当はfffではDateTimeの桁を落としてしまうのでfffffffらしい(.NETのDateTimeは100 ns単位).(JavaScriptなら1 ms単位)

書き込み

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Data.SQLite;

namespace SQLite2
{
    public partial class Form1 : Form
    {
        private System.Data.SQLite.SQLiteConnection cn;

        public Form1()
        {
            InitializeComponent();

            SQLiteConnectionStringBuilder sqlConnectionSb = new SQLiteConnectionStringBuilder { DataSource = "test.db" };
            this.cn = new SQLiteConnection(sqlConnectionSb.ToString());
            this.cn.Open();

            var cmd = new SQLiteCommand(cn);
            cmd.CommandText = "CREATE TABLE IF NOT EXISTS test(" +
                    "time DATETIME NOT NULL PRIMARY KEY," +
                    "value REAL)";
            cmd.ExecuteNonQuery();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            DateTime datetime_ = DateTime.Now;
            Double value = datetime_.Ticks;
            string datetime = datetime_.ToString("yyyy-MM-dd HH:mm:ss.fff");
            var cmd = new SQLiteCommand(cn);
            cmd.CommandText = "INSERT INTO test(time, value) "
                               + "VALUES("
                               + $"'{datetime}', {value})";
            cmd.ExecuteNonQuery();
        }

        private void Form1_FormClosing(object sender, FormClosingEventArgs e)
        {
            cn.Close();
        }
    }
}

読み込み

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Data.SQLite;

namespace SQLView2
{
    public partial class Form1 : Form
    {
        private System.Data.SQLite.SQLiteConnection cn;
        private DataSet ds;
        private System.Data.SQLite.SQLiteDataAdapter da;

        public Form1()
        {
            InitializeComponent();

            SQLiteConnectionStringBuilder sqlConnectionSb = new SQLiteConnectionStringBuilder { DataSource = "../../../SQLite2/bin/Debug/test.db" };
            this.cn = new SQLiteConnection(sqlConnectionSb.ToString());
            this.cn.Open();

            ds = new DataSet();
            da = new SQLiteDataAdapter();
            var cmd = new SQLiteCommand(cn);
            cmd.CommandText = "SELECT * FROM test ORDER BY time asc";
            da.SelectCommand = cmd;

            da.Fill(ds, "test");
            this.dataGridView1.DataSource = ds.Tables["test"];

            chart1.Series[0].XValueMember = "time";// チャートへのバインド
            chart1.Series[0].YValueMembers = "value";
            this.chart1.DataSource = ds.Tables["test"];
            this.chart1.DataBind();
        }

        private void timer1_Tick(object sender, EventArgs e)
        {
            if (ds.Tables["test"].Rows.Count > 0)
            {
                DateTime last = (DateTime)ds.Tables["test"].Rows[ds.Tables["test"].Rows.Count - 1][0];
                var cmd = new SQLiteCommand(cn);
                cmd.CommandText = "SELECT * FROM test WHERE time > "
                    + $"'{last.ToString("yyyy-MM-dd HH:mm:ss.fff")}'"
                    + " ORDER BY time asc";
                da.SelectCommand = cmd;
            }

            this.da.Fill(ds, "test");
            this.chart1.DataBind();
        }

        private void Form1_FormClosing(object sender, FormClosingEventArgs e)
        {
            this.cn.Close();
        }
    }
}

≫ 続きを読む

2019/03/15 コンピュータ   TakeMe

SQLiteのデータベースファイルへの同時アクセス

SQLiteでは複数のプロセスからの同時アクセスはできないというページをよく見るが,一応参照は問題ないということらしい.

SQLiteを使ってデータを書き込んでみた.そのデータを参照するプロセスは複数でもよいらしい.
実際にSQLiteでデータベースを使うアプリを作ってみるとそのようだ.
実際には,Windowsの場合にはあまりお勧めしないが,一応同時アクセスを可決しようとしている実装になっているらしい.
ただし,あらゆる環境で確実な動作を保証していなそうな記述がみられる.

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;

using System.Data.SQLite;

namespace SQLiteSample
{
    public partial class Form1 : Form
    {
        private System.Data.SQLite.SQLiteConnection cn;

        public Form1()
        {
            InitializeComponent();

            SQLiteConnectionStringBuilder sqlConnectionSb = new SQLiteConnectionStringBuilder { DataSource = "test.db" };
            this.cn = new SQLiteConnection(sqlConnectionSb.ToString());
            this.cn.Open();

            var cmd = new SQLiteCommand(cn);
            cmd.CommandText = "CREATE TABLE IF NOT EXISTS test(" +
                    "datetime INTEGER NOT NULL PRIMARY KEY," +
                    "value REAL)";
            cmd.ExecuteNonQuery();
        }

        private void Form1_FormClosing(object sender, FormClosingEventArgs e)
        {
            this.cn.Close();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            Int64 datetime = DateTime.Now.Ticks;
            Double value = datetime;
            var cmd = new SQLiteCommand(cn);
            cmd.CommandText = "INSERT INTO test(datetime, value) "
                               + "VALUES("
                               + $"{datetime}, {value})";
            cmd.ExecuteNonQuery();
        }
    }
}

クライアント側

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Data.SQLite;

namespace SQLView
{
    public partial class Form1 : Form
    {
        private System.Data.SQLite.SQLiteConnection cn;
        private DataSet ds;
        private System.Data.SQLite.SQLiteDataAdapter da;

        public Form1()
        {
            InitializeComponent();

            SQLiteConnectionStringBuilder sqlConnectionSb = new SQLiteConnectionStringBuilder { DataSource = "../../../SQLiteSample/bin/Debug/test.db" };
            this.cn = new SQLiteConnection(sqlConnectionSb.ToString());
            this.cn.Open();

            ds = new DataSet();
            da = new SQLiteDataAdapter();
            var cmd = new SQLiteCommand(cn);
            cmd.CommandText = "SELECT * FROM test ORDER BY datetime asc";
            da.SelectCommand = cmd;

            da.Fill(ds, "test");
            this.dataGridView1.DataSource = ds.Tables["test"];
        }

        private void Form1_FormClosing(object sender, FormClosingEventArgs e)
        {
            this.cn.Close();
        }

        private void timer1_Tick(object sender, EventArgs e)
        {
            if (ds.Tables["test"].Rows.Count > 0)
            {
                Int64 last = (Int64)ds.Tables["test"].Rows[ds.Tables["test"].Rows.Count - 1][0];
                var cmd = new SQLiteCommand(cn);
                cmd.CommandText = "SELECT * FROM test WHERE datetime > "
                    + $"{last}" 
                    + " ORDER BY datetime asc";
                da.SelectCommand = cmd;
            }

            this.da.Fill(ds, "test");
        }
    }
}

≫ 続きを読む

2019/03/10 コンピュータ   TakeMe

Chart Controlsにデータバインディングしてみる例

.NET FrameworkのChart Controlsにデータバインディングしてみることにした.

なかなか難しかった.
と思ったら,データの列だけであれば,次のようにすればよいらしい.
DataTableを使用すればいちいちクラスを作らなくてもデータの列を保管できる.
そして,これをそのままバインドすればよい.

using System;
using System.Data;
using System.Windows.Forms;

namespace chartTEST
{
    public partial class Form1 : Form
    {
        private DataTable table = new DataTable("Table");
        private Timer timer = new Timer();
        private Int64 count = 0;

        public Form1()
        {
            InitializeComponent();

            

            // カラム名の追加
            table.Columns.Add("DateTime", Type.GetType("System.DateTime"));
            table.Columns.Add("Value", Type.GetType("System.Double"));

            for (int i = 0; i < 1; i++)
            {
                DataRow row = table.NewRow();
                row[0] = DateTime.Now;
                row[1] = 0.001;
                table.Rows.Add(row);
            }

            chart1.Series[0].XValueMember = "DateTime";
            chart1.Series[0].YValueMembers = "Value";
            this.chart1.DataSource = table;
            this.chart1.DataBind();

            timer.Interval = 1000;
            timer.Tick += timer1_Tick;
            timer.Start();
        }

        private void timer1_Tick(object sender, EventArgs e)
        {
            count++;
            DataRow row = table.NewRow();
            row[0] = DateTime.Now;
            row[1] = 1.0 * Math.Sin(count * 0.1) + 0.001;
            table.Rows.Add(row);
            this.chart1.DataBind();
        }
    }
}

≫ 続きを読む

2019/03/04 コンピュータ   TakeMe

Pythonのmultiprocessingの例2

Pythonではmultithreading よりもmultiprocessingの方がCPUのコアを有効に使用できるが,前の例だとCtrl+Cで停止したときにプロセスが残る.
WinPython 3.7では少し改善しているので対策コードが追加できる.

メインのプロセスから,terminate()を実行するととりあえず子プロセスは消える.
実際には残るらしい.
その場合にはProcessのコンストラクタにdaemon=Falseを指定する
最初に考えたコードは次のようなもの... しかし,実際にはうまくいっていない感がある

import numpy as np
from multiprocessing import Process
import multiprocessing as mp

def calc(queue, i_range, arg1, arg2, arg3):
    print('Start: {}\r\n'.format(mp.current_process().name))
    a = arg1[i_range] + arg2[i_range];
    b = arg2[i_range] + arg3[i_range];
    c = arg3[i_range] + arg1[i_range];
    queue.put([a, b, c])

if __name__ == '__main__':
    

    x = np.linspace(0, 10000, 10000);
    y = np.linspace(10000, 0, 10000);
    z = np.linspace(0, 10000, 10000) - 5000;

    mp_size = 4
    ps = [];
    queue = mp.Queue()
    results = dict()
    for i in range(mp_size):
        ps.append(mp.Process(target=calc, args=(queue, range(x.shape[0]*i//mp_size, x.shape[0]*(i+1)//mp_size), x, y, z), name="{}".format(i+1), daemon=False))
        
    for p in ps:
        p.start()

    try:
        for i in range(mp_size):
            results[i] = queue.get();
        
    except KeyboardInterrupt:
        for p in ps:
            p.terminate()

    a = 0;
    b = 0;
    c = 0;
    for i in range(mp_size):
        a += np.asscalar(np.sum(results[i][0]));
        b += np.asscalar(np.sum(results[i][1]));
        c += np.asscalar(np.sum(results[i][2]));
    
    print('{},{},{}'.format(a, b, c))

無理やり止めるコードを追加しなおしたのが以下のコードである.
無理やり止めているのでidleでデバッグしていると例外などが発生したって確認できなくなる.ただしエンドユーザには関係なくなる.

import numpy as np
from multiprocessing import Process
import multiprocessing as mp
import signal
import sys

ps = [];

def calc(queue, i_range, arg1, arg2, arg3):
    print('Start: {}\r\n'.format(mp.current_process().name))
    a = arg1[i_range] + arg2[i_range];
    b = arg2[i_range] + arg3[i_range];
    c = arg3[i_range] + arg1[i_range];
    queue.put([a, b, c])

def handler(signum, frame):
    global ps;
    for p in ps:
        if p.is_alive():
            try:
                p.terminate()
            except AssertionError:
                pass
            print('terminate {}'.format(p.pid));
    sys.exit(0);

if __name__ == '__main__':
    
    signal.signal(signal.SIGINT, handler);
    
    x = np.linspace(0, 10000, 10000);
    y = np.linspace(10000, 0, 10000);
    z = np.linspace(0, 10000, 10000) - 5000;

    mp_size = 4
    
    queue = mp.Queue()
    results = dict()
    for i in range(mp_size):
        ps.append(mp.Process(target=calc, args=(queue, range(x.shape[0]*i//mp_size, x.shape[0]*(i+1)//mp_size), x, y, z), name="{}".format(i+1), daemon=False))
       
    for p in ps:
        p.start()
        
    for i in range(len(ps)):
        results[i] = queue.get();
        
    a = 0;
    b = 0;
    c = 0;
    for i in range(mp_size):
        a += np.asscalar(np.sum(results[i][0]));
        b += np.asscalar(np.sum(results[i][1]));
        c += np.asscalar(np.sum(results[i][2]));
    
    print('{},{},{}'.format(a, b, c))
    

実はこれでも対策は不十分でどうにもならないことがある.子プロセスの準備中などに止められると異常終了して意図通りに止まらないことがあるのだ.(is_alive()のせいかも)

≫ 続きを読む

2019/03/02 コンピュータ   TakeMe
タグ:Python

Pythonのmultiprocessingの例

Pythonではmultithreading よりもmultiprocessingの方がCPUのコアを有効に使用できる.

Pythonではマルチスレッドのプログラムが簡単.
よほどのことがない限り,異常は発生してなかったが,
GILのためという理由で,なかなか性能が発揮できない場面が大かった.

おそらくこの例が,マルチプロセスに直した場合になっている.

(これを作ったときには,nameに文字列以外を挿入して大失敗した.ちゃんと文字列を入れましょう)

import numpy as np
from multiprocessing import Process
import multiprocessing as mp

def calc(queue, i_range, arg1, arg2, arg3):
    print('Start: {}\r\n'.format(mp.current_process().name))
    a = arg1[i_range] + arg2[i_range];
    b = arg2[i_range] + arg3[i_range];
    c = arg3[i_range] + arg1[i_range];
    queue.put([a, b, c])

if __name__ == '__main__':
    x = np.linspace(0, 10000, 10000);
    y = np.linspace(10000, 0, 10000);
    z = np.linspace(0, 10000, 10000) - 5000;

    mp_size = 4
    ps = [];
    queue = mp.Queue()
    results = dict()
    for i in range(mp_size):
        ps.append(mp.Process(target=calc, args=(queue, range(x.shape[0]*i//mp_size, x.shape[0]*(i+1)//mp_size), x, y, z), name="{}".format(i+1)))
        
    for p in ps:
        p.start()
    
    for i in range(mp_size):
        results[i] = queue.get();

    
    a = 0;
    b = 0;
    c = 0;
    for i in range(mp_size):
        a += np.asscalar(np.sum(results[i][0]));
        b += np.asscalar(np.sum(results[i][1]));
        c += np.asscalar(np.sum(results[i][2]));
    
    
    print('{},{},{}'.format(a, b, c))

なんの問題もなく終了するときは良いが,強制終了がかかると子プロセスが残る問題が生じる.この件は次の記事で扱う.

≫ 続きを読む

2019/03/01 コンピュータ   TakeMe
タグ:Python

WCFのバッファサイズ制限

WCFを使用するアプリケーションを開発していたところ,大容量のデータを転送したところで,失敗した.

デフォルト バッファサイズが決まっている.

WCFを使用するアプリケーションを開発していたところ,大容量のデータを転送したところで,失敗した.が,これまでまともに設定ファイルなどいじったことがないため焦ってしまった.

デフォルト バッファサイズが決まっているので,maxBufferSizeとmaxReceivedMessageSizeを設定する必要がある.

参考「WCFで大きなデータを送受信するさいに注意する設定値(クオータ)のメモ

これら2つの数値は,2つあるので別々だと思っていたが,異なる値を設定すると失敗した.
WCFの導入までは何の苦労もなくできてしまうので,いったん躓くとつらい.

名前付きパイプを使っていたので今回はこれでよいのだが,HTTPなどを使用する場合には,安易にバッファサイズを大きくすることは攻撃に弱くなったり,意図しない再送・ハイレートの転送でシステムがダウンする恐れが高まるということで,バッファを超えたら分けて送付というやり方の方が本当は良いのかもしれない.

≫ 続きを読む

2019/02/28 コンピュータ   TakeMe