Forem: voluntas

Released a TOML library with zero dependencies in Rust.

voluntas — Sat, 07 Mar 2026 05:38:59 +0000

Shiguredo has begun shifting its development focus from C++ to Rust. As part of this transition, we've been implementing various libraries in Rust, and this time we've released a TOML library.

By default, Shiguredo uses the JSONC format when developing applications in Rust. JSONC is an incompatible extension of JSON that allows comments and trailing commas, making it convenient to use.

Additionally, the nojson dependency-free JSON library supports it.
However, Rust is primarily designed for TOML usage. Despite this, the default library does not include TOML support, and most major TOML libraries have significant dependencies. Therefore, we decided to develop our own TOML implementation with minimized dependencies.

shiguredo/toml-rs

Dependencies: 0
Supports TOML v1.0.0 and v1.1.0 specifications
Compatible with toml-test
Fuzzing support
Rewriting functionality

toml-test is a testing suite officially provided by the TOML project. A score of 100% indicates full compatibility, making this product technically "fully compatible."

We have prioritized robustness by thoroughly implementing fuzzing and ensuring the code remains stable under unexpected inputs.

Following user requests, we've added rewriting functionality. We implemented this feature by adapting nojson's positional tracking mechanism. After addressing several identified bugs, we've released this version.

https://github.com/shiguredo/toml-rs

Summary

While we strive to minimize dependencies by building our own libraries, the result is both comfortable to use and highly maintainable. The reduced dependency footprint makes maintenance easier, and having our own libraries provides the advantage of complete control.

Netlify で WebAssembly バイナリを Git LFS 経由でデプロイして配信する

voluntas — Tue, 03 Nov 2020 13:56:54 +0000

Netlify は静的ファイルを配信する素敵サービスです。Git 連携してくれるので Git に Push するだけで、ビルドしてデプロイしてくれたりします。

無料で使えるので、触ったことない人は触ってみることをおすすめします。

https://www.netlify.com/

WebAssembly バイナリを Netlify にデプロイして配信したい

Go 経由で出力した WebAssembly バイナリを Netlify にデプロイしてみたのですが、自分がやりたいことを満たしていたので簡単にまとめておきます。

やったことは dist/ というフォルダに Git LFS を利用して WebAssembly バイナリを追加し、 dist/ をデプロイしてみました。

利用した機能は Netlify Large Media という機能です。

https://www.netlify.com/products/large-media/

簡単に言えば Git LFS で登録しておいた大きめのバイナリデータを配信してくれる機能です。

使い方はドキュメントを読めばそのままなので解説は特にしません。
ただ Git LFS と netlify-cli というコマンドが必要になります。

https://docs.netlify.com/large-media/overview

結果、配信されたファイルをキャッシュに詳しい人にチェックしてもらったところ ...

content-type は application/wasm で問題ない
content-encoding は br で brotli で圧縮されて配信されていた
cache-control は public, max-age=0, must-revalidate でキャッシュされるけど即座に入れ替わる(max-age=0)し仮に取得できなくてもすでに持ってるキャッシュを再利用しない(must-revalidate)
age が増えてるのでキャッシュが挟まっていそう
容量が 2.9 MB 近いが問題なくデプロイされた
Pro プランであれば 400G 転送量があるのでよほどのことがない限り困らなさそう

無事 WebAssembly バイナリが Netlify にがデプロイされ配信できました。

GitHub Actions で Erlang/OTP なクローズドソースのミドルウェアのテストをする

voluntas — Sat, 31 Oct 2020 10:34:04 +0000

CircleCI から GitHub に移行するにあたって試行錯誤したのでメモとして残しておきます。

結論

テスト用の Docker コンテナを利用せず Github Actions の action/cache を活用するのがメンテナンス的にも楽。

利用した actions

https://github.com/actions/checkout

v2 がでているので v2 を使うようにしましょう。

$GITHUB_WORKSPACE が使えるようになっています、便利。

https://github.com/actions/cache

今回のメインはこの cache です。

GitHub Actions で Erlang を自分設定したビルドで利用する場合は Docker を使うよりこの cache 機能を使うことをおすすめします。

このキャッシュ機能は本当に優秀です。

まず OS は ubuntu-latest で env で OpenSSL と Erlang/OTP のバージョンを指定するようにしました。

runs-on: ubuntu-latest
env:
  OPENSSL_VERSION: 1.1.1h
  ERLANG_VERSION: 23.1.1

あとはキャッシュを活用します。Linux 以外では想定していないため key からプラットフォーム指定は外しています。キャッシュがなかったらビルドする、キャッシュがあったらそれを使うといったシンプルなものです。

シンプルに書いたので、メンテコストもとても軽めです。

- uses: actions/cache@v2
  id: openssl-cache
  with:
    path: /opt/openssl/${{ env.OPENSSL_VERSION }}
    key: openssl-${{ env.OPENSSL_VERSION }}
    restore-keys: |
      openssl-

- if: steps.openssl-cache.outputs.cache-hit != 'true'
  run: |
    curl -LO https://www.openssl.org/source/openssl-${{ env.OPENSSL_VERSION }}.tar.gz
    tar xvfz openssl-${{ env.OPENSSL_VERSION }}.tar.gz
    cd openssl-${{ env.OPENSSL_VERSION }}
    ./config --prefix=/opt/openssl/${{ env.OPENSSL_VERSION }}
    make -j
    sudo make install

- uses: actions/cache@v2
  id: erlang-cache
  with:
    path: /opt/erlang/${{ env.ERLANG_VERSION }}
    key: erlang-${{ env.ERLANG_VERSION }}
    restore-keys: |
      erlang-

- if: steps.erlang-cache.outputs.cache-hit != 'true'
  run: |
    git clone https://github.com/erlang/otp
    cd otp
    git checkout OTP-${{ env.ERLANG_VERSION }}
    ./otp_build autoconf
    ./configure --prefix=/opt/erlang/${{ env.ERLANG_VERSION }} \
                --enable-kernel-poll \
                --enable-dirty-schedulers \
                --disable-sctp \
                --disable-dynamic-ssl-lib \
                --disable-sharing-preserving \
                --disable-hipe \
                --disable-native-libs \
                --with-ssl=/opt/openssl/${{ env.OPENSSL_VERSION }} \
                --without-javac \
                --without-odbc
    make -j
    make install

キャッシュ容量は 5G まで使えるので本当に助かります。

rebar3 キャッシュ

rebar3 で依存ライブラリを引っ張ってくるコストもばかにならないのでキャッシュしてしまっています。

- uses: actions/cache@v2
  id: rebar3-deps-cache
  with:
    path: $GITHUB_WORKSPACE/_build
    key: rebar3-deps-${{ hashFiles('~/$GITHUB_WORKSPACE/rebar.lock') }}
    restore-keys: |
      rebar3-deps-

キャッシュがなかったら引っ張ってくるようになっています。

https://github.com/actions/setup-node

E2E テストとして cypress を利用しています。 cypress を EUnit から呼び出しています。

https://github.com/webfactory/ssh-agent

Erlang を利用している場合に課題になるのは rebar3 経由でプライベートリポジトリを持ってくる部分です。色々苦労したくないので素直に ssh-agent を利用することにしました。

SSH_PRIVATE_KEY を設定することで rebar3 の設定は一切変更する必要はありません。

- uses: webfactory/ssh-agent@v0.4.1
  with:
    ssh-private-key: ${{ secrets.SSH_PRIVATE_KEY }}

https://github.com/rtCamp/action-slack-notify

Slack 通知はこれが一番無難です。ただ Fixed (失敗の後の成功通知）ができないのが残念なところです。
成功時は通知せず、失敗時だけ通知するという方針なので SLACK_COLOR は danger にしています。

失敗したらこれが呼ばれます。通知をもっと詳細にしてもいいかもしれません。

- name: Slack Notification
  if: failure()
  uses: rtCamp/action-slack-notify@v2.1.0
  env:
    SLACK_CHANNEL: sora
    SLACK_COLOR: danger
    SLACK_TITLE: Failure test
    SLACK_WEBHOOK: ${{ secrets.SLACK_WEBHOOK }}

Erlang ライブラリ

パブリック、プライベートに関わらずコンテナを利用してビルド、テストしています。

費用

https://github.com/features/actions

GitHub Actions (プライベートリポジトリ利用) は Team を契約しているためデフォルトで 3000 分ついています。

それを超えたら 1 分あたり $0.008 です。うちのプッシュ単位で 4 分、デイリーで 14 分くらいです。ざっくり 1 分 1 円くらいのようです。

CircleCI からの移行理由

UI/UX があまりにも使いにくい
OSS 関連を全て GitHub Actions に移行した
actions が便利になってきた
CircleCI にあまり未来を感じない

WebRTC iOS/Android ドキュメント

voluntas — Wed, 07 Oct 2020 03:38:14 +0000

公式ページからは消えてソースコードの中の docs/native-code/ 以下にある。

ちなみに WebRTC native code のドキュメントトップページはここ。

WebRTC native code

cowboy_static で application/wasm を返す

voluntas — Thu, 30 Jul 2020 03:38:32 +0000

この記事は Cowboy を利用していて、 static で wasm ファイルを返したいが cowlib に用意されている mimetype にはデフォルトでは入っていないので、自前でやりたいというマニアックな内容です。

これは検証や開発向けで、そもそも本番では CDN や Nginx で返すべきです。

cowboy_static

cowboy_static には priv_file があるので、それを使います。
複数の wasm というのはここでは取り扱っていません。

test アプリケーションの priv/ に wasm.wasm が置いてある
URL は /test/wasm.wasm でアクセス

{"/test/wasm.wasm", cowboy_static,
 {priv_file, test, "wasm.wasm",
  [{mimetypes, {<<"application">>, <<"wasm">>, []}}]}},

参考

DTLS の誤解

voluntas — Thu, 23 Jul 2020 13:08:56 +0000

DTLS は順序保証や再送などもうまいことやってくれると誤解されがちです。

DTLS が順序保証や再送をやってくれるのは DTLS の Handshake の最中のみで、Application Data 部分は上に乗っかるプロトコルが全部頑張る必要があります。

たとえば WebRTC の DataChannel であれば SCTP が再送やら順序保証をがんばります。

まとめ: DTLS は順序保証や再送は一切やってくれませんので、その上に乗っかるプロトコルが全部面倒見る必要があります。

GitHub Actions 利用時に misc/wasm にパスを通す

voluntas — Thu, 09 Jul 2020 03:07:57 +0000

Go で "syscall/js" を利用してるとテストを実行したときに $GOROOT/misc/wasm 以下にパスが通ってる必要があります。

go env GOROOT を活用すれば簡単です。

name: main

on:
  push:
  pull_request:

jobs:
  main:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/setup-go@v2
        with:
          go-version: 1.14
      - uses: actions/checkout@v2
      - run: |
          export PATH=$(go env GOROOT)/misc/wasm:$PATH
          make test

一応 makefile も載せておきます。

all:
    GOOS=js GOARCH=wasm go build -o wasm.wasm


test:
    GOOS=js GOARCH=wasm go test

VSCode で Go の syscall/js を利用する場合

voluntas — Mon, 06 Jul 2020 04:42:15 +0000

"settings": {
    "go.toolsEnvVars": {
        "GOARCH":"wasm",
        "GOOS":"js",
    },
    "go.testEnvVars": {
        "GOARCH":"wasm",
        "GOOS":"js",
    }
}

GOARCHに wasm 、GOOS に js を設定しないといつまでも認識してくれずエラーになる。

Chrome 利用時に WebRTC の暗号を外したい場合

voluntas — Thu, 04 Jun 2020 15:18:28 +0000

Chrome には様々なオプションがあり、その一つとして -disable-webrtc-encryption が提供されています。

これは DTLS-SRTP の SRTP/SRTCP の暗号を外した状態にしてくれるオプションです。

Chrome のオプションは以下からどうぞ。

List of Chromium Command Line Switches « Peter Beverloo

TURN の DTLS 機能について

voluntas — Thu, 04 Jun 2020 15:15:23 +0000

TURN と WebRTC 端末が hop-by-hop で接続する部分に DTLS が利用されます。 TURN-DTLS と呼ばれます。

RFC 7350 - Datagram Transport Layer Security (DTLS) as Transport for Session Traversal Utilities for NAT (STUN)

DataChannel を例に取ると SCTP over DTLS over TURN over DTLS over UDP というミルフィーユになります。

ちなみに TURN-TLS は SCTP over DTLS over TURN over TLS over TCP となります。

WebRTC 利用時に TURN サーバのみ使いたい場合

voluntas — Thu, 04 Jun 2020 15:12:20 +0000

iceTransportPolicy に 'relay' を指定することで利用可能です。

https://developer.mozilla.org/en-US/docs/Web/API/RTCConfiguration#RTCIceTransportPolicy_enum

Electron で gRPC を動かす

voluntas — Thu, 07 May 2020 05:46:23 +0000

Electron で gRPC を動かしたときのメモです。

Electron のバージョンは 8.2.5
Node.js のバージョンは 13.13
npm のバージョンは 6.14.4

思ってる以上にサクッと動きます。

インストール

yarn add electron electron-rebuild grpc @grpc/proto-loader --dev

再ビルドする

gRPC を使うには再ビルドが必要ですが、 electron-rebuild という便利ツールでサクッとできます。

electron/electron-rebuild: Package to rebuild native Node.js modules against the currently installed Electron version

./node_modules/.bin/electron-rebuild

以下動かしたときの主なコード

echo.proto

syntax = "proto3";

package echo;

option go_package = ".;echo";

message EchoRequest {
    string message = 1;
}

message EchoReply {
    string message = 1;
}

service Echo {
    rpc Echo(EchoRequest) returns (EchoReply) {}
}

main.js

const { app, BrowserWindow } = require("electron");
const path = require("path");

const grpc = require("grpc");
const protoLoader = require("@grpc/proto-loader");

const PROTO_PATH = __dirname + "/echo.proto";

const packageDefinition = protoLoader.loadSync(PROTO_PATH, {
  keepCase: true,
  longs: String,
  enums: String,
  defaults: true,
  oneofs: true,
});

const echoProto = grpc.loadPackageDefinition(packageDefinition);

let client = new echoProto.echo.Echo(
  "127.0.0.1:50051",
  grpc.credentials.createInsecure()
);

client.Echo({ message: "hello!!" }, function (error, response) {
  if (!error) {
    console.log(response.message);
  } else {
    console.error(error);
  }
});

function createWindow() {
  const mainWindow = new BrowserWindow({
    width: 800,
    height: 600,
    webPreferences: {
      nodeIntegration: true,
    },
  });

  mainWindow.loadFile("index.html");

  mainWindow.webContents.openDevTools();
}

app.whenReady().then(createWindow);

app.on("window-all-closed", function () {
  if (process.platform !== "darwin") app.quit();
});

app.on("activate", function () {
  if (BrowserWindow.getAllWindows().length === 0) {
    createWindow();
  }
});