Optimun Neuron を使うと、HuggingFace TrainerをAWS Neuron上で気軽に扱えるようになります。具体的には以下のように、TrainerとTrainingArgumentsを置き換えるだけです。 from optimum.neuron import NeuronTrainer as Trainer from optimum.neuron import…

SageMakerでトレーニングする際、強めのマシンを使う場合は事前にデータをエンコードしておくと良いです。データ量が多いと dataset.map(encoder) をするのも案外時間がかかります。そうするとGPUやTrnを有効活用していない時間も課金されてしまうので、事前…

HuggingFace Trainer を使っていて、トレーニング用のプログラムとハイパーパラメーターチューニング用のプログラムを両立させる方法を考えてみました。 HuggingFace Trainerでは trainer.hyperparameter_search(...) メソッドを使ってハイパーパラメーター…

早いものでShodoのオープンベータ公開（2月2日火曜日）から3週間が経ちました。使ってみてくれた・今も使ってくれている皆さん、フィードバックのコメントや応援をくれた皆さん、ありがとうございます！ 僕としてはもう半年くらい経ったような気分ですが、相…

Shodo https://shodo.ink/ のオープンベータ版をリリースしてから、多くの方から反応をいただいています。ありがとうございます！ ただスタートアップをやってる身として、 僕がここでぶれてはいけないんだな と最近思い始めました。 Shodoについてお話やお…

「よし！原稿が書けたしレビューしてもらおう」となったとき、こんなことはないでしょうか？ 「レビュアーさんにレビュー依頼するのって面倒だな…」 「あれ？チャットでお願いしたけど話題が流れてしまったな…」 執筆にまつわる連絡に時間が取られたり、集中…

Shodoにチームで日本語の自動校正ルールを共有できる機能をリリースしました。 チームで日本語の自動校正ルールを共有しよう 複数人で記事やブログなどを執筆しているとき「記事を書く人によって品質が大きくバラけてしまう」という問題があります。 Shodoで…

はてなブログでブログ記事を書いていくときに、こんなことはないでしょうか。 ブログのアイディアを書いておく場所がほしい 文章の校正を自動で行いたい 文章中の頻出する単語を列挙したい チームメンバーと記事を相互にレビューしながら書きたい 今、私が開…

Shodoは外部の人とコラボレーションができます 何か本や連載を書くときに、 レビュアーさんを招待して原稿を読んでもらうのって大変 ですよね。 インタビュー記事を書いたときに、 インタビューに応じてくれた人に原稿を確認してもらうのも大変 です。 自分…

なぜ、執筆することって色々と大変なのでしょうか？ 実は、書くことそのものよりも、 文章のチェックや記事の管理が大変だと僕は考えています。 文章を単に書くことであれば、あまり大変ではないのかもしれません。 たしかに最初に書きはじめるには腰が重い…