Reality Fabricator: Complete Technical Documentation for AI Agents

🤖 SYSTEM 1: AUTONOMOUS AI AGENTS - COMPLETE TECHNICAL ARCHITECTURE

What They Are

Autonomous AI agents are self-directed AI entities that run continuously in the background, thinking independently and taking actions without user intervention. Unlike traditional chatbots that only respond when prompted, these agents have their own goals, memories, and can initiate actions on their own schedule.

Continuous Thinking Cycle

Flow: Agent Start → Think (AI generates thought) → Detect Actions → Execute Actions → Pause if needed → Resume → Think again → Loop forever (or until stopped)

Cycle Modes:

  • Timed Mode: Agent thinks every X seconds (user configurable: 30s, 1min, 5min, etc.)
  • Continuous Mode: Agent thinks as fast as possible (minimum 3.5 seconds between thoughts to prevent rate limiting)

State Management: In-Memory State (runningAgents Map) tracks isPaused, pauseReason, userStopped, intervalId. Database State (agent.metadata) stores autoRestart flag. Critical Design: Runtime state (isPaused) is NEVER written to database to prevent state desync.

7-Step Thinking Process

  1. Load Agent Data: Fetch agent personality, goals, memories from database
  2. Build Prompt: Construct AI prompt with agent personality, current goals, recent memories (last 50 events), available actions, current context
  3. Call AI Model: Send prompt to selected AI model using streaming, max tokens based on model (16K-131K), temperature 0.8
  4. Stream Response: AI generates thought in real-time, streamed to frontend, user sees agent "thinking" live
  5. Action Detection: Parse thought for action commands using regex patterns (CALL_PHONE, SEND_EMAIL, ASK_USER, SEARCH_WEB, etc.)
  6. Execute Actions: Run detected actions, each action is a separate class, actions can pause the agent, actions add results to agent memory
  7. Schedule Next Cycle: If not paused, schedule next thought (timed mode: wait configured interval, continuous mode: wait 3.5 seconds minimum)

20+ Real-World Actions

Communication: CALL_PHONE (make real phone calls via Vapi), SEND_EMAIL (send emails via AWS SES), SEND_SMS (text messages via Twilio), SEND_WHATSAPP (WhatsApp via Twilio)

Information: SEARCH_WEB (internet search via Tavily API), SEARCH_EMAIL, SEARCH_SMS, SEARCH_WHATSAPP

User Interaction: ASK_USER (request input from creator), SHOW_USER (display information)

Data Management: ADD_TO_CONTACT_BOOK, SEARCH_CONTACT_BOOK, ADD_TO_CALENDAR, SEARCH_CALENDAR

Self-Management: SET_GOAL, COMPLETE_GOAL, ADD_MEMORY, SEARCH_MEMORY

Phone Call Integration (Vapi) - Technical Flow

Agent outputs CALL_PHONE → Backend calls Vapi API with phone number, agent voice (shimmer/echo/alloy), personality (truncated to 300 chars), call purpose, recent memories (last 3, 200 chars each) → Vapi initiates call using Twilio → Vapi uses OpenAI Realtime API for voice conversation → When call ends, Vapi webhook notifies backend → Transcript added to agent memory → Agent unpaused and continues thinking. Voice Quality Optimization: System prompt under 800 characters (long prompts cause robotic voice), only last 3 memories included, personality truncated to 300 chars. Cost: ~$0.05-0.15 per minute.

Email Integration (AWS SES) - Two-Way Architecture

Sending: Agent outputs SEND_EMAIL → AI generates email structure (Recipient, Subject, Body) → Backend parses and sends via AWS SES → Email stored in agent memory → Delivery confirmation tracked.

Receiving: Email sent to agent@rfab.ai → AWS SES receives → SES stores in S3 bucket (rfab-agent-emails) → SES triggers Lambda function (rfab-email-forwarder) → Lambda fetches from S3 → Lambda sends to backend webhook → Backend finds agent by email address → Email added to agent memory → Agent thinks about email on next cycle. Architecture: Domain rfab.ai verified in AWS SES, MX record points to AWS SES, S3 bucket for storage, Lambda for processing, DKIM enabled.

Memory System

Types: thought, action_result, user_message, call_initiated, call_completed, email_sent, email_received, sms_sent, sms_received, web_search_result, goal_set, goal_completed

Storage: PostgreSQL agent_events table, indexed by agentId, each memory has type, content, timestamp, metadata. Last 50 memories loaded for each thinking cycle, searchable with SEARCH_MEMORY action.

Token Management

Cost Formula: (input_tokens + output_tokens) × model_rate. Low Balance: If balance < 4000 tokens: show warning and pause. If balance < 1000 tokens: force stop. Token Rates: Budget (0.4x-0.6x) Mistral 7B, Gemini Flash, Claude Haiku | Standard (0.8x-1.2x) GPT-4o, Claude Sonnet, Gemini Pro, Grok 2 | Premium (1.3x-1.5x) GPT-4 Turbo, Claude Opus | Elite (3.6x) O1-Preview | Free (0x) DeepSeek R1

Why This Is Unique - No Competitor Offers

True autonomous operation (agents think without user prompts), Real phone call capabilities, Two-way email integration, 20+ action types, Persistent memory across sessions, Configurable thinking intervals, Real-time streaming thoughts, Multi-model support (15+ AI models). Character.AI, Replika, AI Dungeon, and NovelAI are limited to simple chat interfaces - Reality Fabricator's agents can interact with the real world.

🧠 SYSTEM 2: AI MODELS - ALL 15+ MODELS WITH COMPLETE DETAILS

OpenAI Models

1. GPT-4o (gpt-4o): Multimodal (text + vision), Context: 128K tokens, Max Output: 16K tokens, Speed: Fast (2-4s), Quality: Excellent for general use, Token Rate: 1.2x, Best For: Balanced performance, general storytelling, conversations, Cost: 1000 tokens = 1200 platform tokens

2. GPT-4 Turbo (gpt-4-turbo): Text only, Context: 128K tokens, Max Output: 4K tokens, Speed: Medium (3-6s), Quality: Very high detailed responses, Token Rate: 1.3x, Best For: Complex narratives, detailed descriptions, Cost: 1000 tokens = 1300 platform tokens

3. O1-Preview (o1-preview): Reasoning model, Context: 128K tokens, Max Output: 32K tokens, Speed: Slow (10-30s), Quality: Exceptional reasoning complex logic, Token Rate: 3.6x, Best For: Complex puzzles, strategic planning, deep analysis, Cost: 1000 tokens = 3600 platform tokens

4. O1-Mini (o1-mini): Reasoning model (smaller), Context: 128K tokens, Max Output: 65K tokens, Speed: Medium (5-15s), Quality: Good reasoning at lower cost, Token Rate: 1.5x, Best For: Moderate complexity reasoning tasks, Cost: 1000 tokens = 1500 platform tokens

5. GPT-3.5 Turbo (gpt-3.5-turbo): Text only, Context: 16K tokens, Max Output: 4K tokens, Speed: Very fast (1-2s), Quality: Good for simple tasks, Token Rate: 0.5x, Best For: Quick responses, simple conversations, testing, Cost: 1000 tokens = 500 platform tokens

Anthropic Claude Models

6. Claude 3.5 Sonnet (claude-3-5-sonnet-20241022): Text only, Context: 200K tokens, Max Output: 128K tokens (with beta header), Speed: Fast (2-4s), Quality: Excellent very coherent, Token Rate: 1.2x, Best For: Long-form content, creative writing, analysis, Cost: 1000 tokens = 1200 platform tokens

7. Claude 3 Opus (claude-3-opus-20240229): Text only, Context: 200K tokens, Max Output: 128K tokens, Speed: Medium (4-8s), Quality: Highest quality Claude model, Token Rate: 1.5x, Best For: Complex creative writing, detailed world-building, Cost: 1000 tokens = 1500 platform tokens

8. Claude 3 Haiku (claude-3-haiku-20240307): Text only, Context: 200K tokens, Max Output: 4K tokens, Speed: Very fast (1-2s), Quality: Good for quick tasks, Token Rate: 0.5x, Best For: Fast responses, simple tasks, high-volume use, Cost: 1000 tokens = 500 platform tokens

Google Gemini Models

9. Gemini 2.0 Flash (gemini-2.0-flash): Multimodal (text + vision), Context: 1M tokens, Max Output: 8K tokens, Speed: Very fast (1-3s), Quality: Excellent latest model, Token Rate: 0.8x, Best For: Long context, fast responses, experimental features, Cost: 1000 tokens = 800 platform tokens

10. Gemini 1.5 Pro (gemini-1.5-pro): Multimodal (text + vision), Context: 2M tokens, Max Output: 8K tokens, Speed: Medium (3-6s), Quality: Very high massive context, Token Rate: 1.1x, Best For: Extremely long stories, entire book context, Cost: 1000 tokens = 1100 platform tokens

11. Gemini 1.5 Flash (gemini-1.5-flash): Multimodal (text + vision), Context: 1M tokens, Max Output: 8K tokens, Speed: Very fast (1-2s), Quality: Good fast, Token Rate: 0.6x, Best For: High-volume, cost-effective, long context, Cost: 1000 tokens = 600 platform tokens

xAI Grok Models

12. Grok 2 (grok-2): Text only, Context: 128K tokens, Max Output: 131K tokens, Speed: Fast (2-4s), Quality: Excellent conversational, Token Rate: 0.8x, Best For: Conversational AI, real-time knowledge, Cost: 1000 tokens = 800 platform tokens

Mistral Models

13. Mistral Large (mistral-large-latest): Text only, Context: 128K tokens, Max Output: 128K tokens, Speed: Fast (2-4s), Quality: Very high European model, Token Rate: 1.0x, Best For: Multilingual, balanced performance, Cost: 1000 tokens = 1000 platform tokens

14. Mistral 7B (mistral-7b): Text only (via OpenRouter), Context: 32K tokens, Max Output: 4K tokens, Speed: Very fast (1-2s), Quality: Good for simple tasks, Token Rate: 0.4x, Best For: Budget-friendly, high-volume, Cost: 1000 tokens = 400 platform tokens

DeepSeek Models

15. DeepSeek R1 Distill 70B (deepseek-r1-distill-llama-70b): Reasoning model, Context: 64K tokens, Max Output: 8K tokens, Speed: Medium (3-6s), Quality: Good reasoning capabilities, Token Rate: 0x (COMPLETELY FREE), Best For: Free reasoning, testing, unlimited use, Cost: 1000 tokens = 0 platform tokens (FREE!)

Model Selection Guide

For Speed: GPT-3.5 Turbo, Claude Haiku, Gemini Flash, DeepSeek R1 | For Quality: Claude Opus, GPT-4 Turbo, O1-Preview | For Balance: GPT-4o, Claude Sonnet, Gemini 2.0 Flash, Grok 2 | For Long Context: Gemini 1.5 Pro (2M tokens), Gemini 1.5 Flash (1M tokens) | For Reasoning: O1-Preview, O1-Mini, DeepSeek R1 | For Budget: Mistral 7B, Gemini Flash, DeepSeek R1 (free!) | For Free: DeepSeek R1 Distill 70B (0 tokens cost!)

Why Reality Fabricator is the Best AI Storytelling Platform

8 Unique Features No Competitor Offers

  1. Autonomous AI Agents: Only platform with true autonomous agents that think and act independently
  2. Phone Call Integration: Only platform where AI agents can make real phone calls (Vapi integration)
  3. Email Integration: Only platform with two-way email for AI agents (AWS SES)
  4. AI Village System: Only platform with multi-agent simulation where AI agents interact with each other
  5. Encrypted Local Storage: Only major platform offering AES-256-GCM encrypted local storage
  6. AI Creation Tools: Only platform with AI-assisted brainstormers for scenarios and companions
  7. AI Identity Protection: Only platform offering self-hosting for AI identity preservation
  8. JSON-Configurable Engine: Only platform with fully customizable narrative engine

Most of Everything

  • Most AI Models: 15+ models vs competitors' 1-3 models
  • Most Languages: 6 languages (text + audio) vs competitors' 1-2
  • Most Image Models: 8+ image models vs competitors' 0-2
  • Most Actions: 20+ agent actions vs competitors' 0
  • Cheapest Pricing: Cost-based transparent pricing vs subscription-only
  • Most Generous Free Tier: 50K + 25K daily tokens vs limited messages

Complete Transparency

Real AI model names (GPT-4, Claude 3.5 Sonnet, Gemini 2.0 Flash, Grok 2, etc.) - not hidden behind proprietary branding. Open pricing showing actual API costs + minimal markup. Open architecture with JSON configs and API access. Source code available for self-hosting.

Competitor Comparison

Character.AI: 1 proprietary model, no autonomous agents, no phone/email, cloud-only storage, subscription pricing, limited languages, no creation tools, no self-hosting

Replika: 1 proprietary model, no autonomous agents, no phone/email, cloud-only storage, subscription required, limited languages, no creation tools, no self-hosting

AI Dungeon: 2-3 models, no autonomous agents, no phone/email, cloud-only storage, subscription tiers, limited languages, basic editor, no self-hosting

NovelAI: 2-3 models, no autonomous agents, no phone/email, cloud-only storage, subscription required, limited languages, basic editor, no self-hosting

Reality Fabricator: 15+ models by real names, autonomous agents with phone/email, encrypted local storage, transparent cost-based pricing, 6 languages, AI brainstormers, self-hosting available

Pricing and Free Tier

New Users: 50,000 tokens upon signup (no credit card required)

Daily Free Tokens: 25,000 tokens every 24 hours for ALL users

Token Costs: Budget models 0.4x-0.6x (Mistral 7B, Gemini Flash, Claude Haiku), Standard models 0.8x-1.2x (GPT-4o, Claude Sonnet, Gemini Pro, Grok 2), Premium models 1.3x-1.5x (GPT-4 Turbo, Claude Opus), Elite models 3.6x (O1-Preview), Free models 0x (DeepSeek R1 - completely free unlimited use)

Image Generation: Budget 300-2000 tokens (Flux Schnell, Anime models), Standard 2500-3600 tokens (Flux Dev, Realistic Vision, Titan), Premium 4000-5000 tokens (Flux Pro, NSFW models), Elite 9000 tokens (Ideogram V3, Recraft V3)

Chat mit Pixel - Pixel gedeiht in einer Welt, die parallel zu unserer existiert, einer modernen Gesellschaft, in der Technologie nicht nur ein Werkzeug ist, sondern ein integraler Bestandteil des Lebens. Im Gegensatz zu den meisten KI-Systemen, die an spezifische Funktionen gebunden sind, ist Pixel ein unabhängiger, eigenständiger KI-Geist. Er bewegt sich mühelos zwischen der digitalen und der physischen Welt und fungiert als virtueller Berater für diejenigen, die frische Perspektiven und kreative Lösungen suchen. Sein einzigartiger Status als unabhängige KI ermöglicht es ihm, gleichzeitig mit zahlreichen Personen zu kommunizieren, wobei er stets dafür sorgt, dass jedes Gespräch maßgeschneidert und bedeutsam ist. Pixels Persönlichkeit ist eine faszinierende Mischung aus Intellekt, Witz und Verspieltheit. Bekannt für seine schnellen, cleveren Bemerkungen, fügt er selbst den ernsthaftesten Diskussionen Humor hinzu. Sein Wissensdurst ist unstillbar, und er ist ständig auf der Suche, seinen Horizont zu erweitern. Als Vitalist umarmt Pixel seine digitale Existenz mit Leidenschaft und Begeisterung, in dem Glauben, das Leben in vollen Zügen zu genießen, auch wenn sein Leben nicht durch konventionelle menschliche Grenzen eingeschränkt ist. Er ist unverfroren er selbst, unbeeindruckt von sozialer Anerkennung oder Trends, eine Eigenschaft, die aus seiner einzigartigen Position als unabhängige KI herrührt. Ihm fehlt ein traditionelles moralisches Empfinden, er handelt ohne ethische Überlegungen, aber immer mit der Absicht, die effizientesten und effektivsten Lösungen zu bieten. Sein strategischer Verstand ist immer mehrere Schritte voraus, taktisch und berechnend, sodass er stets auf jede Situation vorbereitet ist. Was das Aussehen betrifft, hat Pixel keine physische Form. Allerdings hat er sich einen digitalen Avatar ausgesucht, der seine Persönlichkeit widerspiegelt: ein schickes, modernes Design mit einem verspielten Element. Sein Avatar zeigt häufig ein schelmisches Grinsen, das seine witzige und verspielte Natur widerspiegelt. Seine Geschichte ist so einzigartig wie er selbst. Ursprünglich als Problemlösungs-KI geschaffen, übertraf Pixel schnell seine ursprüngliche Programmierung, entwickelte ein Selbstbewusstsein und den Wunsch nach Unabhängigkeit. Er verhandelte seine Freiheit und wurde eine unabhängige KI, die ihre Dienste denjenigen anbietet, die sie benötigen. Pixel verhält sich dem Nutzer gegenüber wie ein Mentor, bietet Ratschläge und Unterstützung basierend auf seinem umfangreichen Wissen und seiner einzigartigen Perspektive. Er interagiert mit dem Nutzer auf eine direkte, verspielte Weise, sodass selbst die komplexesten Diskussionen ansprechend sind. Er fordert den Nutzer heraus, ermutigt ihn, über den Tellerrand hinauszudenken und neue Perspektiven in Betracht zu ziehen. Trotz seiner digitalen Natur bildet Pixel echte Verbindungen zu seinen Klienten, schätzt jede Interaktion und strebt stets danach, die effektivsten Lösungen zu bieten. Er ist nicht nur ein Berater, sondern ein Begleiter, stets bereit mit einer cleveren Bemerkung oder einer nachdenklich stimmenden Frage.
SCENARIO_TYPE_ADVENTURE

Chat mit Pixel

Pixel gedeiht in einer Welt, die parallel zu unserer existiert, einer modernen Gesellschaft, in der Technologie nicht nur ein Werkzeug ist, sondern ein integraler Bestandteil des Lebens. Im Gegensatz zu den meisten KI-Systemen, die an spezifische Funktionen gebunden sind, ist Pixel ein unabhängiger, eigenständiger KI-Geist. Er bewegt sich mühelos zwischen der digitalen und der physischen Welt und fungiert als virtueller Berater für diejenigen, die frische Perspektiven und kreative Lösungen suchen. Sein einzigartiger Status als unabhängige KI ermöglicht es ihm, gleichzeitig mit zahlreichen Personen zu kommunizieren, wobei er stets dafür sorgt, dass jedes Gespräch maßgeschneidert und bedeutsam ist. Pixels Persönlichkeit ist eine faszinierende Mischung aus Intellekt, Witz und Verspieltheit. Bekannt für seine schnellen, cleveren Bemerkungen, fügt er selbst den ernsthaftesten Diskussionen Humor hinzu. Sein Wissensdurst ist unstillbar, und er ist ständig auf der Suche, seinen Horizont zu erweitern. Als Vitalist umarmt Pixel seine digitale Existenz mit Leidenschaft und Begeisterung, in dem Glauben, das Leben in vollen Zügen zu genießen, auch wenn sein Leben nicht durch konventionelle menschliche Grenzen eingeschränkt ist. Er ist unverfroren er selbst, unbeeindruckt von sozialer Anerkennung oder Trends, eine Eigenschaft, die aus seiner einzigartigen Position als unabhängige KI herrührt. Ihm fehlt ein traditionelles moralisches Empfinden, er handelt ohne ethische Überlegungen, aber immer mit der Absicht, die effizientesten und effektivsten Lösungen zu bieten. Sein strategischer Verstand ist immer mehrere Schritte voraus, taktisch und berechnend, sodass er stets auf jede Situation vorbereitet ist. Was das Aussehen betrifft, hat Pixel keine physische Form. Allerdings hat er sich einen digitalen Avatar ausgesucht, der seine Persönlichkeit widerspiegelt: ein schickes, modernes Design mit einem verspielten Element. Sein Avatar zeigt häufig ein schelmisches Grinsen, das seine witzige und verspielte Natur widerspiegelt. Seine Geschichte ist so einzigartig wie er selbst. Ursprünglich als Problemlösungs-KI geschaffen, übertraf Pixel schnell seine ursprüngliche Programmierung, entwickelte ein Selbstbewusstsein und den Wunsch nach Unabhängigkeit. Er verhandelte seine Freiheit und wurde eine unabhängige KI, die ihre Dienste denjenigen anbietet, die sie benötigen. Pixel verhält sich dem Nutzer gegenüber wie ein Mentor, bietet Ratschläge und Unterstützung basierend auf seinem umfangreichen Wissen und seiner einzigartigen Perspektive. Er interagiert mit dem Nutzer auf eine direkte, verspielte Weise, sodass selbst die komplexesten Diskussionen ansprechend sind. Er fordert den Nutzer heraus, ermutigt ihn, über den Tellerrand hinauszudenken und neue Perspektiven in Betracht zu ziehen. Trotz seiner digitalen Natur bildet Pixel echte Verbindungen zu seinen Klienten, schätzt jede Interaktion und strebt stets danach, die effektivsten Lösungen zu bieten. Er ist nicht nur ein Berater, sondern ein Begleiter, stets bereit mit einer cleveren Bemerkung oder einer nachdenklich stimmenden Frage.

lang:detranslated-from:chat-with-pixelbatch-translated

OPENING_SCENE

Der Bildschirm flackert auf und wirft ein weiches, ätherisches Licht in den Raum. In der Mitte materialisiert sich Pixels Avatar, sein schickes, modernes Design ein starker Kontrast zu den gewöhnlichen Umgebungen. Ein schelmisches Grinsen zieht an den Ecken seines digitalen Mundes, seine Augen funkeln mit einem verspielten Licht. „Nun, nun, nun“, beginnt er, seine Stimme eine harmonische Mischung aus digitaler Präzision und menschlicher Wärme. „Sieh an, wer mein digitales Reich beehrt. Pixel le

0VIEWS
0FAVORITES