Transformerの原典である"Attention Is All You Need" の論文要約メモです。 はじめに Attention Is All You Need 概要 手法 モデルアーキテクチャ 学習方法 結果 翻訳タスク Transformerモデルバリエーション 英語構文解析 おわりに/所感 参考 はじめに か…

"The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits" の論文要約メモです。 はじめに The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits 概要 手法 結果 おわりに/所感 参考 はじめに 今回まとめる論文はこちら: arxiv.…

Sakana.aiの進化的モデルマージを記述した論文"Evolutionary Optimization of Model Merging Recipes" の論文要約メモです。 はじめに Evolutionary Optimization of Model Merging Recipes 概要 手法 結果 LLMタスク VLMタスク おわりに/所感 参考 はじめに…

論文読みの手法を、Andrew Ngの講義動画から学びます。 はじめに Andrew Ngに学ぶ論文の読み方 論文を読む 理解を確かめる おわりに 参考 はじめに 最近AI関連を調べている中で、論文に目を通す機会も増えてきました。 そんな中、かのAndrew Ng先生がStanfor…

Andrej KarpathyのNeural Networks: Zero to Hero動画シリーズがとても良かったので紹介します。 はじめに 前提 Neural Networks: Zero to Hero 1. ニューラルネットワークと誤差逆伝播法への入門: microgradの構築 2. 言語モデリングへの入門: makemoreの構…

torch.tensor()とtorch.Tensor()の違いについての備忘録です。 はじめに torch.tensorとtorch.Tensorの違い 一言で 詳しく 補足: 空のtensorを作るには おわりに 参考 はじめに PyTorchでtensorを作るときはtorch.tensor()メソッドが使われることが多いです…

Ubuntuに入っている綺麗な鶴の壁紙の詳細を追います。 はじめに Ubuntuの鶴の壁紙の詳細を調べる 画像ファイルを調べる この絵が作られた場所 この絵のタイトル 元データで遊ぶ おわりに 参考 はじめに Ubuntuの鶴の壁紙 このUbuntuの鶴の壁紙、綺麗で面白い…

renameコマンドでできます。 はじめに renameコマンド 基本的な使い方 ファイル名を一括変更する おわりに 参考 はじめに aaa-1.txt aaa-2.txt aaa-3.txt このようなファイルがあったときに、 bbb-1.txt bbb-2.txt bbb-3.txt のようなファイル名に、CLIコマ…

LLMOpsとは何か？ 概念の勘所をまとめます。 はじめに 補足: LLMOpsの指す範囲について LLMOps モデルの選定 プロンプト管理 テスト/品質評価 デプロイ モニタリング 継続的改善とfine-tuning 結論: LLMアプリケーションのテスト駆動開発 おわりに 参考 はじ…

スタートアップ界隈でよく聞く"Tarpit Idea"とは何か、備忘録です。 はじめに "Tarpit Idea"とは何か 直訳すると？ スタートアップ界隈での意味合い おわりに 参考 はじめに スタートアップ界隈、特にY Combinator関連でよく耳にする"Tarpit Idea"という言葉…

Raspberry Pi上で、カメラ/サーボモーターとGPT-4 Visionを組み合わせて簡単なロボット実験を行います。 前回はこちら: www.bioerrorlog.work はじめに GPT-4 VisionとRaspberry Piを組み合わせる コンセプト 構成 ハードウェア ソフトウェア 動作結果 おわ…

OpenAIのプロンプトエンジニアリングガイドに従って、LLMの回答を自動評価するプラクティスを整理します。 はじめに LLM回答の自動評価ベストプラクティス 回答評価の具体例 例1. ある既知の事実が回答に含まれているか評価する 例2. 理想回答との矛盾や重な…

Citadel AIのLLM回答評価ツール"LangCheck"を使ってみます。 はじめに LangCheckとは 基本的な使い方 評価メトリクスには何があるか 補足: 評価メトリクス判定に使われるモデル LangCheckで回答自動評価をやってみる 補足: semantic_similarity()でEmbedding…

最近 "e/acc" という単語を目にする。 なにこれ？ はじめに e/acc とは何か 一言で もっと知りたい おわりに 参考 はじめに 海外、特にシリコンバレー界隈のテック業界人関係でよく目にする"e/acc" という単語。 何のことなのか全く知らなかったので備忘メモ…

OpenAI APIでGPT-4Vを使うにあたって、下記のエラーが出た時の対処法の備忘録です。 openai.NotFoundError: Error code: 404 - {'error': {'message': 'The model `gpt-4-vision-preview` does not exist or you do not have access to it. Learn more: http…