自媒体自动化选题系统

N8N-新闻选题工作流-封面

在 AI 行业信息爆炸的背景下,传统的人工搜集与选题方式已无法满足高效内容创作的需求。本项目构建了一套 “全链路自动化情报引擎”,通过 n8n 编排工作流,实现从全球多源信息采集、AI 深度语义加工、到结构化数据入库及爆款选题评估的全自动化。该系统不仅是信息的搬运工,更是基于 JTBD (Jobs-to-be-Done) 理论的决策支持系统,旨在将碎片化资讯转化为可执行的自媒体资产。

 

1. 系统架构

系统采用“管道式”架构,分为数据采集、智能加工、数据存储三个核心层级:

  • 数据采集层:通过 RSS 订阅、HTTP Request 接入 API 等方式,实现全网社会新闻(百度热搜、澎湃新闻、腾讯新闻、网易新闻等)和AI新闻(NYTimes、The Verge、TechCrunch、YouTube频道等)的监控和采集。并事先定义 “营销日历” 形式整理的社会热点。
  • 智能加工层:通过结构化 Prompt 工程,引导 LLM 完成翻译、摘要、主题打标、情绪动机剖析及爆款潜力评估。
  • 数据存储层:以 Supabase (PostgreSQL) 作为单一事实来源(SSOT)。

 

2. 核心模块详解

2.1 智能语义与情报提炼

  • 受众匹配度评估:基于核心受众画像,引入热点事件与核心受众生活的”关联度“与“兴趣度”评分,实现热点事件的优先级排序。
  • 情绪与痛点映射:将新闻映射至核心受众的“焦虑、懒惰、贪婪、共鸣”等底层动机,为选题提供情绪价值支撑。
  • JTBD 深度解构:不同于传统的摘要提取,系统强制 LLM 使用 JTBD 标准句式(“当 [特定情境] 时,我想要 [做什么],以便于 [最终目标]”),强迫 AI 站在受众视角思考。
  • 创新与批判性视角:结合“投资人毒舌点评”与“反共识视角解构”,为博主提供批判性的选题建议,避免平庸的选题进入创作池。

2.2 自动化工作流编排 (n8n)

  • 数据标准化:通过 Code 节点对不同来源(RSS/API)的数据进行清洗,剥离 HTML 标签、修复 XML 字符错误(如 & 符号转义),确保数据格式统一。
  • 去重机制:利用 Remove Duplicates 节点和 Supabase 的 on_conflict 策略,确保同一新闻不会被重复写入数据库。
  • 人工介入 (Human-in-the-Loop):通过 Webhook,实现了 “AI 生成 -> 人工审核 -> 反馈并优化” 的闭环持续迭代,提示选题质量。

 

3. 工作流展示

  • 社会新闻采集入库:社会新闻信息采集清洗并存储到数据库中。

N8N-社会新闻采集工作流

  • AI新闻采集入库:AI 新闻信息采集清洗并存储到数据库中。

N8N-AI新闻采集工作流

  • 选题分析:挖掘新闻及社会热点事件对受众心理的影响,分析受众深层需求及选题探讨方向。

N8N-新闻选题工作流

 

4. 选题输出示例

根据自媒体账号主题和核心受众定位输出选题分析结果(示例偏重AI技术+身心灵视角):

选题来源

事件 受众底层需求 受众情绪痛点 选题潜力评估

选题建议

社会新闻 董明珠说了句大实话:关键在于切实解决就业问题、持续提升居民工资待遇。 当面临职场内卷和收入增长停滞时,我想要找到一个能稳定提升收入或发展副业的低风险路径,以便于缓解对未来的财务焦虑,获得职业安全感。 工作很努力但工资不涨,担心被裁员,对未来收入没有信心,想搞副业又怕失败或没时间。 直击白领对“就业难”和“工资低”的核心生存焦虑,极易引发“说的就是我”的强烈共鸣,对解决方案有迫切需求。 共识是向外求索(找副业、跳槽、卷技能),反共识是向内整合。真正的‘稳定提升’不在于增加一个收入来源,而在于将现有主业‘AI化’,用AI将你的核心工作产出效率提升300%,从而在内部谈判中获取溢价或创造‘时间盈余’。焦虑源于对自身‘可被替代部分’的无力感,降熵的关键是识别并让AI接管这些部分,将人的精力聚焦于决策、创造和关系——这些AI无法替代的修行道场。
社会新闻 委员建议:劳动者退休后养老待遇应平等!引发对养老金差距的广泛讨论。 当担忧未来养老金不足,无法维持理想退休生活时,我想要现在就能开始一套简单、可持续的个人养老规划方案,以便于对冲未来的不确定性,获得老年生活的安全感与希望。 对复杂的社保政策感到困惑,担心自己退休后收入骤降、生活品质下降,但不知道从现在开始该如何具体规划和储蓄,充满对遥远未来的无力感。 将宏大的社会议题转化为与每个职场人息息相关的“个人养老规划”问题,直击最深层的生存焦虑,提供解决方案能带来强烈的希望感和实用价值。 主流叙事是‘多存钱、早投资’制造更多焦虑。反共识视角是:养老焦虑的本质是对‘线性时间’和‘确定性未来’的执念。修行人视角的降维解构:1. 认知套利:将养老规划从‘储蓄竞赛’重构为‘能力与收入流建设’。核心不是存下工资的X%,而是用AI杠杆,在退休前打造出至少1个自动化或半自动化的‘数字资产’(如AI辅助的知识产品、可持续内容),其生命周期远超你的职业生涯。2. 情绪降熵:接受未来本就不可控。真正的安全感源于‘当下创造价值的能力’及‘对变化的适应力’。规划的重点应是利用AI持续提升这两项‘元能力’,而非死磕一个数字目标。从‘为未来存钱’转向‘用未来思维建设现在’。
AI新闻 开源开发者个人项目在六周内走红并获Docker官方合作,成为个人通过开源创新实现快速突破的励志范例。 当 [我想通过做一个副业项目来证明自己、增加收入或打造个人品牌,但不知从何入手且担心投入没有回报] 时,我想要 [看到一个低技术门槛、可快速验证的副业成功路径和具体故事],以便于 [获得启动的信心和方向,相信自己也有机会通过小而美的创新获得认可]。 贪婪(渴望低风险高回报的副业机会)与焦虑(担心自己想法不值钱、技术不够、或努力白费)。 “六周逆袭”的极速成功故事极具冲击力和模仿诱惑,完美契合了受众对“轻量副业搞钱”和“个人价值被大厂认可”的双重渴望,提供了希望感和具体参照。 真正的‘逆袭’不是复制一个无法复制的故事,而是解构‘成功’本身。反共识视角:大众渴望的是‘结果被认可’,而修行者应追求‘过程即奖励’。将‘六周获Docker合作’降维解构为‘六周构建一个可对话的资产’。认知套利:成功的关键不是‘被大厂看见’,而是‘先让自己被自己看见’——通过AI工具,将任何微小的专业知识(如Excel技巧、PPT排版)封装成一个可交互、可传播的‘微产品’。情绪降熵:从‘我必须做一个轰动项目’的妄念,转向‘我每天用AI固化一点我的智慧’的踏实,内耗自消。
营销日历 世界睡眠日 当世界睡眠日来临,我想围绕‘熬夜’‘失眠’话题创作内容(如图文、短视频),以便于吸引同样被睡眠问题困扰的粉丝,建立‘懂你’的亲切感,并为后续推荐相关产品或生活方式做铺垫。 知道睡眠重要但改不掉熬夜刷手机的习惯,想分享自己的挣扎却怕内容流于俗套(如单纯晒黑眼圈),缺乏一个能引发深度共鸣、又不至于显得自己很‘丧’的独特切入角度和表达方式。 睡眠问题是都市职场人的普遍痛点,内容极易引发‘你懂我’的强烈共鸣,是快速建立情感连接、积累精准粉丝的高效话题。 别再把‘熬夜’当成需要克服的‘坏习惯’。从修行视角看,它是现代人‘神’(注意力)被数字世界(AI/信息流)过度消耗后的‘失守’,是‘识神’(后天思维)压制‘元神’(先天本能)的失衡。从AI视角看,熬夜是个人生物钟与算法推荐系统‘上瘾模型’的对抗失败。破局点在于:承认熬夜是‘系统性问题’,而非‘个人意志力问题’。解决方案不是‘对抗熬夜’,而是‘用AI重新设计你的夜间环境场’,用修行心法‘观照’而非‘批判’熬夜时的自己,完成从‘自责内耗’到‘观察调整’的认知套利,实现情绪降熵。

 

5. 未来改进方向

  • 支持多账号自动配置:将系统架构从 “硬编码” 调整转向 “模块化配置”,以支持题系统自适应不同主题的账号。只需在数据库中预先存入与账号相关的信息,如 “主题定位” 和 “受众画像”,系统即可自动配置生成与之匹配的 Prompt ,从而让工作流产生适配该账号的选题。
  • 工作流闭环优化:引入人工对选题建议的评估反馈,引导系统根据人工反馈调整提示词并优化选题

 

 

 

 

微调垂直领域大模型

本项目旨在利用先进的预训练语言模型技术,结合特定领域的专业知识,打造一个专注于无人机飞行安全规范的专家问答机器人。

项目以 DeepSeek-R1-Distill-Qwen-1.5B 作为基础模型,利用收集到的无人机安全飞行监控相关数据进行参数高效微调(PEFT)。最终目标是生成一个能够准确、结构化地回答无人机飞行安全和风险相关问题的专业问答模型,并能遵循特定的回答格式(包含思考过程)。

 

 

模型托管地址

微调后的模型已托管至 Hugging Face Hub,可通过以下地址访问:https://huggingface.co/GabrielCheng/Deepseek-r1-finetuned-drone-safty

国内可访问魔搭社区下载:https://www.modelscope.cn/models/gabrielai/Deepseek-r1-finetuned-drone-safty/

 

 

模型调用代码示意

可通过以下 Python 代码调用(Hugging Face Hub上托管)微调后的模型:

 

 

模型使用演示

这里展示了微调前后的效果对比:

 

 

技术实现

数据处理
  1. 数据来源:原始数据来源于 Hugging Face 平台的无人机云数据集 (pohsjxx/default-domain-cot-dataset)。
  2. 样本筛选与清洗:从中提取约 3500 个样本作为训练基础,并进行清洗。然后拆分为训练集(85%)和验证集(15%)。
  3. 关键处理 – 格式对齐:
    • 调整了原数据集中 answer 字段的文字表述,使其更通用。
    • 为了适配推理模型采用的“思考-回答”格式(Chain-of-Thought, CoT),我们将原数据集中的 reasoning(推理过程)字段和 answer(最终答案)字段进行了对调。即,将原始的 answer 内容作为模型的思考过程(放入 </think> 标签前),将原始的 reasoning 内容作为模型的最终正式回答。这一转换旨在使训练数据的格式更贴近 DeepSeek-R1 等模型常见的 CoT 数据模式。

 

微调训练
  1. 框架:采用 Hugging Face 的 transformers 和 peft 库,实现了 LoRA (Low-Rank Adaptation) 参数高效微调。
  2. 硬件平台:利用 Google Colab 提供的 T4 GPU (约 16GB 显存) 进行训练。
  3. 关键超参数设置与考量:
    • 显存优化:针对 T4 显存限制,设置了较小的批次大小 (per_device_train_batch_size=2),并启用了梯度检查点 (gradient_checkpointing=True) 以节省显存(牺牲少量训练速度)。同时使用混合精度训练 (fp16=True)。
    • 模拟大批次:通过梯度累积 (gradient_accumulation_steps=16),实现有效批次大小为 32 (2 * 16),有助于稳定训练。
    • 防止过拟合:考虑到样本量(3500)相对较小,设置了 LoRA Dropout (lora_dropout=0.1) 和权重衰减 (weight_decay=0.01)。
    • LoRA 配置:r=8, lora_alpha=32。
    • 训练周期与学习率:num_train_epochs=5,learning_rate=1e-4,并使用 cosine 学习率调度器。

 

微调效果
  1. 损失函数表现:训练集和验证集的损失均从初始的约 2.8 下降至 0.8 左右,且验证集损失未出现明显反弹,表明模型有效收敛且基本没有出现过拟合现象。
  2. 语义相似度提升:使用验证集数据,通过计算模型生成回答与标准答案之间的语义相似度(Sentence Transformers),发现微调后模型的平均相似度得分从 0.77 提升至 0.95 左右。这表明微调明显提高了模型回答内容与目标答案在语义层面上的一致性。

 

 

项目局限性

  • 缺乏真实输入:当前的问答模式主要基于文本问题。真实的无人机安全监控场景往往需要结合飞行轨迹、环境感知等多模态数据作为输入。本模型未包含这部分数据和能力,主要目的是展示问答格式和领域知识上的一致性,实用性有限。
  • 数据构造影响:训练数据中“思考”(<think>部分)和“回答”部分是通过对调原始数据集的 answer 和 reasoning 字段构造的。这两部分之间可能缺乏原生数据那样清晰、自然的逻辑关联,这可能对模型深度理解和生成真正连贯思考过程的能力造成一定阻碍。
  • 基础模型的能力限制:考虑到 Google Colab T4 GPU 的算力与显存限制,本项目选取了 1.5B 参数量的 DeepSeek-R1-Qwen 蒸馏模型作为基础模型。虽然该规模的模型足以验证微调流程和概念,但在处理复杂或边缘问题时还是稳定性不足,时常出现回答格式混乱的情况。对于追求高稳定性和准确性的真实应用场景,建议选用参数量更大(如 7B 或以上)的基础模型进行微调。

 

非暴力沟通智能助手

本项目意图打造一款用于即时聊天工具的智能沟通插件。它基于非暴力沟通(NVC)原则,实时分析用户即将发送的消息,智能识别潜在的“高冲突风险”或“强硬”表达,并提供基于 NVC 四要素(观察、感受、需求、请求)的优化改写。它的目标是帮助用户以更平和、有效且富有同理心的方式进行在线交流,从而构建更和谐的人际关系和沟通环境。

 

 

测试体验入口

http://111.228.59.109:5000

温馨提示:应用接入了大语言模型的API服务。一些使用限制可能导致系统反应慢或运行异常。如遇到这些情况,请等待重试,或在页面底部留言告知。

 

 

操作方法

  1. 直接点击上方体验入口,进入网页版模拟环境。
  2. 在模拟环境的任一“手机”(例如“小李的手机”或“老板的手机”)的输入框中,输入您想要向对方表达的内容。
  3. 输入完毕后,点击发送按钮。
  4. 此时,NVC 智能助手会在后台对您的消息进行快速分析。
  5. 如果系统判断您的原始表达可能听起来有些“直接”、“强硬”,或者容易引起对方误解时,它会在消息正式发送之前,弹出一个“NVC 助手提示”框。这个提示框会清晰地展示:
    • 您的“原始消息”。
    • 基于 NVC 原则优化后的“建议改写”版本。
  1. 您有以下选择:
    • 点击 “使用建议版本”: 系统会将这条更温和、更易于被接受的建议消息发送给对方。
    • 点击 “仍发送原版本”: 系统会按照您的原始意愿,将未经修改的消息发送出去。
    • 点击 “放弃发送”: 消息将不会被发送,您可以关闭提示框,重新编辑您的想法。
  1. 如果您的消息本身表达得体、语气平和,HarmoniTalk 则会保持“静默”,消息将直接、顺畅地发送给对方,完全不打扰您的正常沟通流程。

 

视频演示:

 

 

技术实现

• 前端实现:目前演示版本提供一个基于 HTML, CSS 和JavaScript 实现的交互式网页Demo。此Demo内嵌了双手机模拟聊天界面,直观展示NVC 智能助手的核心辅助流程。

实时通讯: 通过HTTP API 与后端服务进行消息传递和数据交换。

后端服务:采用 Python 及 Flask Web 框架搭建,负责处理核心业务逻辑、用户交互管理、消息的实时路由以及与 NVC 智能助手的无缝对接。

NVC 智能助手:通过API接入先进的大语言模型作为自然语言理解和生成的核心。

 

 

舆情洞察(语义分析+情感评价)

这是一个精华液产品的消费者洞察示例。在分析中引入大语言模型的语义分析和情感分析能力,替代复杂的传统机器学习模型。使得分析更为深入和灵活。

基础数据来源于某主流内容平台与 “精华液” 产品相关的消费者笔记。引入大语言模型对笔记内容进行语义分析和情感评价,并整理获得规整的结构化数据。最终以数据报表的形式展示信息。

 

交互式报表入口

 

技术实现

  • 在小红书平台上,以“精华液”及相关品牌词为关键词进行搜索筛选消费者笔记。采用 Python 的 DrissionPage 包,抓取约5000条。
  • API 接入大语言模型(Google Gemini Flash 1.5)进行语义分析和情感评价:
    • 语义分析:提取笔记中有关特定维度的点评内容。如:提取产品使用场景相关语句。
    • 情感评价:判断笔记作者对产品和品牌的特定维度的态度。如:对产品功效是否满意。
  • 采用 Python 的 jieba 包对语义分析提取的内容进行清洗,整理获得规整的结构化数据。
  • 在 Tableau Public 平台进行数据可视化,并展示发布。

 

局限性

  • 受限于内容平台的搜索和算法推送规则,可能出现笔记样本代表性不足的情况。可能需要扩大收集笔记数量来弥补这一问题。
  • 大语言模型的语义分析和情感评价准确性受制于模型自身能力,提示词质量和任务复杂程度。如果为了追求时间效率,在提示词中要求大语言模型一次完成多个任务会导致输出结果质量明显下降。

 

未来改进方向

  • 扩大收集笔记数量来提升样本代表性。
  • 可以考虑引入两个以上的大语言模型处理相同任务,再对任务输出结果进行对比校验,提升准确性。

 

 

Text-to-SQL数据查询系统

利用大语言模型的自然语言理解和代码生成能力,打造一个用自然语言查询数据库的检索系统。你可以用简单的语言描述你的查询需求,系统会自动生成对应的 SQL 代码,并以表格和图形的形式呈现查询结果。

 

 

技术实现

  • 该应用基于 Python 开发,查询和数据可视化功能依赖 VannaAI 的 Python 包,前端界面则采用 Gradio 包实现。
  • SQL 数据库和修正后的 SQL 代码存储在本地。数据库元数据以向量数据库的形式存储在 VannaAI 云端。如果使用本地部署的大语言模型,则所有数据都可以在本地进行处理,避免信息泄露的风险。
  • 应用 Demo 使用了公开的示例数据库 “Chinook”。数据库的表格和字段关系如下:

 

局限性

  • 目前,系统在处理简单的查询方面表现良好,但对于多层嵌套的 SQL 查询,还缺乏足够的处理能力。
  • 自然语言转 SQL 的准确性是这个系统的核心,而这方面受到大语言模型代码生成能力和用户与模型沟通能力的限制。

 

 

未来改进方向

  • 可以收集用户查询和生成的 SQL 代码,微调一个自然语言转 SQL 的专家模型,替代通用大模型,以提高准确性和效率。
  • 对于多层嵌套的 SQL 查询,可以考虑采用分步查询的方案,将复杂查询分解成多个简单的查询步骤,逐步完成。

 

 

操作方法

  1. 在登录页面输入用户名和密码(目前都设为 “ailab”)。
  2. 在第一个文本框中输入你的查询语句,例如 “查询开发票数量最多的三个员工”,然后点击 “第一步:生成 SQL 语句” 按钮。
  3. 系统会自动生成对应的 SQL 代码,并在第二个文本框中显示。
  4. 点击 “第二步:用 SQL 语句查询” 按钮,系统会执行生成的 SQL 代码,并将查询结果以表格形式展示。
  5. 如果查询结果适合用图形展示,你可以点击 “第三步:用图形展示查询结果” 按钮,系统会自动生成相应的图表。
  6. 如果发现系统生成的 SQL 语句有误,你可以直接在文本框中修改 SQL 语句,并点击 “保存纠正后的 SQL 语句” 按钮。 这样,系统在未来收到类似的查询请求时,会参考你修正的 SQL 代码,避免再次出错。
  7. 点击“清空查询”,开始下一次查询。

视频演示:

 

 

测试体验入口

  • http://111.228.59.109:7860/
  • 注意:为控制成本,应用接入的是免费的API服务。一些使用限制可能导致系统反应慢或运行异常。如遇到这些情况,请等待重试,或在页面底部留言告知。

 

 

RAG客服机器人

利用检索增强生成 (RAG) 技术,结合知识库检索和大语言模型的优势,搭建一个即智能又可靠的客服机器人。它能够从预先构建的知识库中检索相关信息,并用自然流畅的语言回答用户的问题。有效避免大语言模型常见的“幻觉”问题 (即生成虚假信息)。

为了更直观地展示项目效果,本项目模拟新东方客服机器人:以新东方主页为模板,嵌入一个对话窗口。可以回答与新东方主页新东方2024Q4财报相关的问题。

 

测试体验入口

  • 请点击 https://www.gabriel-ai.cn/other-page/New_Oriental.html(如果页面插件加载出错,则可以直接访问对话窗口 https://udify.app/chat/QuZBVNLgnhrCv2VC 体验)
  • 注意:为控制成本,本应用接入的是免费的API服务。一些使用限制可能导致系统反应慢或运行异常。如遇到这些情况,请等待重试,或在页面底部留言告知。

 

操作方法

  1. 点击页面右下角的对话标签,在弹出的客服初始窗口中点击“开始对话”。
  2. 在对话窗口中输入你的问题。机器人会检索知识库,并为你解答。如果答案信息来自知识库,则它会在回答中提示参考的信息来源,便于核实。

视频演示:

 

技术实现

  • 该应用基于 Dify 平台,利用其知识库功能搭建。
  • 对新东方主页 HTML 文件采用 Dify 内嵌的 Unstructured ETL 方案解析。财报 PDF 文件转换为 Markdown 格式,做了长表格切分,并简单清洗。
  • 采用父子分段模式切分文本。然后接入 BAAI/bge-m3 模型将文本片段转换为向量,存入向量数据库,以便进行语义检索。
  • 采用 “混合检索” 模式,并使用 Cohere 的 rerank-multilingual-v3 模型进行 Rerank。
  • 利用 Dify 平台搭建工作流,接入大语言模型根据检索结果回复问题。
  • 应用的前端入口以 JavaScript 形式嵌入网页 HTML 代码中。

 

局限性

  • 目前知识库的检索召回率约为 70%-80%。影响召回率的主要问题是:一些以字体大小形式呈现的段落归属关系无法被系统自动解析;长表格分段之后可能会遗漏表头信息,而无法被检索到。这凸显了数据预处理的重要性。对于包含大量文件的知识库,需要建立 人工+自动化 的文件清洗流程。
  • Dify 自带的知识库系统无法处理和存储图片。

 

未来改进方向

  • 将知识库文件中的图片存储在云端图床,并以 URL 链接的形式嵌入,以此实现在检索结果中展示图片。
  • 尝试使用 LlamaIndex 或 RAGFlow 框架中的文档解析能力构建知识库,并与 Dify 的知识库进行效果对比。