编注:我们会不定期挑选 Matrix 的优质文章,展示来自用户的最真实的体验和观点。文章代表作者个人观点,少数派仅对标题和排版略作修改。
去年见到一款 macOS 上的 app - Rewind时,感到非常惊奇:它像黑镜 S1E3 中的人生记录仪一样、可以将屏幕上见到的一切全部记录下来,随时回溯检索。既感到这个想法与实现十分惊艳,也隐约感觉其实用不起来,直到到今年他们拥抱了 AI——一个能完全发挥其潜能的方向:将第二大脑交由 AI 托管运作,概念上很厉害。
黑镜 S1E3 - 你的全部人生经历
不过他们至今也还没推出 Windows 版。偶然似乎在 X 上见到有人试图做 Windows 上类似的替代品,但由于忘记打心收藏,再想寻找时果然怎么也找不到了——当这种时刻发生,就能强烈意识到这个软件的价值:让你过目不忘。
其实这个需求价值挺明显的:时间的流动中,我们试图抓住的事情就像鲇鱼们一样,不断从滑溜溜的大脑皮质层流过、然后忘却。当需要那些坚实的记忆碎片时,只能自求多福当时有顺手在手边石头多刻几笔:随手收藏、剪贴、甚至是为此坚持写日记。
而这样的产品做法显然是从最底层的第一性原理出发,直接采集你看到的画面、用最“元(meta)”的方式来解决“我寻思我看过……哎怎么就找不到呢?”和“噢我还经历了这些破事儿”。——前者可以用搜索应对,后者是现在 Rewind AI 方向探索的管理 & 总结归纳,将记忆结晶为有序的价值来帮助未来。
无可避免地,记录一切也意味着其中肯定也包含了海量的无用数据——当然直到你需要时,你无法知道哪些是无用的。好在记录与管理是无感的,在如今的存储容量与成本下也不值一提。
▍日常中,它可以解决以下这些场景的问题
等等等等…… 容易想到的场景在 Rewind 官网上多少也被提及了,此外的日常下,这样的超能力总能给你意料外的惊喜;
等等等等…… 容易想到的场景在 Rewind 官网上多少也被提及了,此外的日常下,这样的超能力总能给你意料外的惊喜;
用回忆为朋友制作梗图一例
我做了一个 Windows 上的 Rewind 平替小工具
用浣熊作为吉祥物——浣熊超会翻垃圾的,就像翻寻我的记忆w
我认为这种强涉及个人隐私的工具,它的录制、识别、搜索等一切功能都应当完全在本地运行,开源的透明度使它可以被彻底审查。这个小工具使用 python 与本地 API 来运作,解释型语言的特性可以让你了解每一步都是如何运作的——安全而不做多余的事,一切数据都在你的手上。无需为你的数据和回忆订阅付费,你应当拥有与知道你的一切🤓。
使用的能耗、储存空间等需求基本与 Rewind 一致(一年的数据存储约占用 150G 磁盘空间,如果选择了更高的超时压缩规格,可以再缩减 80% 以上)。
▍这类工具主要解决的三个问题
怎么记录
第一个问题挺好解决的,通过 ffmpeg 的录屏功能,就能以较低的帧率与关键帧比来实现低体积的视频存储。
缺点:目前每个片段的记录时长为 15 分钟,需要等记录完毕(或暂停记录)和索引后才能回溯。对于突发想回看过去几秒时,就没有 Rewind 那么便利——得等一下当前片段记录和索引完毕🧎。
怎么找回记忆
第二个问题上,目前跳过对录制的视频片段进行关键帧索引,只保留变化较大的画面、使用 Windows 系统级的 OCR API 进行文字识别,过程中忽略一些比较固定的 UI 区域,诸如开始菜单、标签页、花边广告侧栏等,这样可以避免记下一些无用的“烧屏”信息;也可以设定跳过词,来跳过敏感/不重要内容的记录。
索引完毕后,就可以通过最基础关键词、时间范围等筛选进行 SQL 检索啦。为了解决 OCR 中字形相似的不良识别问题,也加入了同时检索相似字形关键词的选项,召回率有不小提升。比如当搜索“你好世界”时,会一并搜索“猕好世界”“称好碟界”“弥好屉界”“尔好泄界”……等等组合。
目前检索维度上还是不够强,兴许未来还可以加上文本嵌入、图像内容识别等新潮方式。
它还能做什么
第三个问题的解法也许是最有价值、最有创意的,毕竟寻找回忆不是高频需求。
Rewind 的答案是用 AI 做结构化的记录,甚至可以用过去的记忆辅助未来的决策、形成生产力,比如用会议的总结等信息来起草邮件。
目前 Windrecorder 还在最小可用原型阶段,但还是加入了力所能及的词云统计、使用数据统计、可以鸟瞰缩略图的光箱等,都是聊胜于无的小功能。AI 生成方面,本地的 LLM 需要吃挺多资源,目前先边走边思考着🤔。
目前这个小工具也许适合这些用户
仓鼠病 / FOMO 患者🤓;
……
仓鼠病 / FOMO 患者🤓;
……
由于不擅长前端技术,本职也不是 RD🧎,工具使用 streamlit 构建了前端。尽管使用了许多 hack 和巧思,体验上与能做的产品功能还是比较有限,一些实现也不够完善、运作还有许多可以优化之处,多少限制了一些它的“好用”。如果你擅长 coding 且也有类似的需求,欢迎一起 contribute ~
它虽然很原始,是一个堪堪可用的最小可用原型,但还是想发出来收集反馈同你的回响!
▍小感想
一个多月时间试下来,用来找回记忆碎片确实很管用!很方便能回去找到一些关键的线索、为当下建立起关联,也能偶尔翻翻回看过去做了什么。工作上写起周报、绩效等强回忆的材料也不那么痛苦了,哪天做了什么事情一回溯便了然。
长尾效应很明显,开始在想,如果好久好久以前也记录了下来就好了——不过从现在开始也许什么也不晚 🦝。
项目 Github:https://github.com/Antonoko/Windrecorder
原文链接:
https://sspai.com/post/83590?utm_source=wechat&utm_medium=social
作者:haru
责编:北鸮
利益相关声明 :作者与文中产品有直接的利益相关(开发者、自家产品等)
/ 更多热门文章 /