Jupyter Notebookでマウスを使わない！
Jupyter Notebookでマウスを使わなければ気持ちよくなれます！という啓蒙活動です。 Jupyter NotebookというとGUIが基本なのでどうしてもマウスを動かしてしまいますが、キーボード操作がかなり充実しています。あまり知…
Optimun NeuronでHuggingFace TrainerをAWS Neuron上で簡単に動かす
Optimun Neuron を使うと、HuggingFace TrainerをAWS Neuron上で気軽に扱えるようになります。具体的には以下のように、TrainerとTrainingArgumentsを置き換えるだけです。 こうすると…
SageMakerでのトレーニング時は事前にデータをエンコードしておく
SageMakerでトレーニングする際、強めのマシンを使う場合は事前にデータをエンコードしておくと良いです。データ量が多いと dataset.map(encoder) をするのも案外時間がかかります。そうするとGPUやTrnを有効活用してい…
HuggingFace Trainerで学習とハイパーパラメーターチューニングを両立するプログラムを書く
HuggingFace Trainer を使っていて、トレーニング用のプログラムとハイパーパラメーターチューニング用のプログラムを両立させる方法を考えてみました。 HuggingFace Trainerでは trainer.hyperpar…
SageMakerでのトレーニング実行前に FileNotFoundError: [Errno 2] No such file or directory: 'train'
SageMakerでトレーニング中に No such file or directory: 'train' というエラーが発生しました。 見たところ私自身のプログラムが原因ではないようでした。 エラーが発生したときの実行ログはこちらです。 …
ChatGPTを非同期でPythonから利用する方法
Shodo がChatGPTに対応しましたね。 最近注目されている自然言語処理技術の一つChatGPT。本記事ではPythonからChatGPTを非同期で扱う方法についてご紹介します。 実はこの記事もChatGPTに書いてもらい、僕が加筆し…
イラストのAI学習禁止はできるのかをAIエンジニアが短く話します
こんにちは。 mimic（ミミック） というサービスがリリースされ、インターネットを騒がせています。 このサービスはアップロードされたイラストを学習して、類似されたイラストを生成できるというものです。 mimic（ミミック） 誰がこの文章を…