Karpathy 说过一段话，如果你无视它，以后肯定会后悔：
“我们必须给 AI 拴上绳子。我仍然是那个瓶颈。我得确保这玩意儿不会引入 Bug，也没有安全问题。”
这是他去年在 YC 演讲时说的，当时大家担心的还是可靠性。那时候模型会一本正经地胡说八道，犯一些人类绝不会犯的错，所以“拴绳子”意味着你要全程参与，在信任输出之前先检查一遍。
现在的模型强多了，但这句话依然适用，只不过原因是他当时没太关注的。
即便模型今天能写出完美的代码，它依然不知道谁有权运行它。
“正确性”和“权限控制”是两个不同的问题，随着模型进步，提升的只有正确性。
一个完美的智能体依然会交出一个谁都能操作任何功能的工具，因为“权限”从来就不是任务的一部分。
我用 Claude Code 实测了一下。
我让它写一个简单的内部工具，带一个发放账户积分的按钮。一次成功，在本地运行，点一下积分就秒到账。
但没有任何逻辑决定谁有权点这个按钮。智能体写出了正确的逻辑，并显示了成功通知。
它从未检查调用者是否有权操作，是否该暂停等待人工审批，或者是否记录了日志。
这不是更聪明的模型能解决的 Bug，因为“绳子”压根就不在代码里。
身份、权限和审计存在于运行应用的系统中，而不是智能体生成的代码里。
为了解决这个问题，我把同样的代码包放到了 @retool 上托管。
之前在我电脑上悄无声息执行的积分发放操作，现在被拦截在了审批关卡前，通过 SSO 关联到了真实身份，并记录到了审计日志中。
这些我一行代码都没写。
应用在部署的那一刻就继承了整个安全边界，视频展示了前后的对比。
你可以在这里亲自尝试：https://retool.com/blog/retool-launches-react-ai-app-builder?utm_source=freeman_and_forrest&utm_medium=influencer&utm_campaign=r2_launch&utm_content=akshay_pachaar_x&rcid=701Ql000011zyUSIAY
我还在最近的文章里详细拆解了整个过程，并与团队合作完成了这些内容。
文章记录了构建过程、在我电脑上无人监管直接发放积分的瞬间，以及同样的 App 在 Retool 上运行后的变化。
它还涵盖了为什么这是运行环境的属性，而不是靠更好的模型就能修复的问题，这也是开发者通常会忽略的一点。
文章引用如下。
Karpathy 说过一段话，如果你无视它，以后肯定会后悔：
“我们必须给 AI 拴上绳子。我仍然是那个瓶颈。我得确保这玩意儿不会引入 Bug，也没有安全问题。”
这是他去年在 YC 演讲时说的，当时大家担心的还是可靠性。那时候模型会一本正经胡说八道，犯一些人类绝不会犯的错，所以“拴绳子”意味着你要全程参与，在信任输出之前先检查一遍。
现在的模型强多了，但这句话依然适用，只不过原因是他当时没太关注的。
即便模型今天能写出完美的代码，它依然不知道谁有权运行它。
“正确性”和“权限控制”是两个不同的问题，随着模型进步，提升的只有正确性。
一个完美的智能体依然会交出一个谁都能操作任何功能的工具，因为“权限”从来就不是任务的一部分。
我用 Claude Code 实测了一下。
我让它写一个简单的内部工具，带一个发放账户积分的按钮。一次成功，在本地运行，点一下积分就秒到账。
但没有任何逻辑决定谁有权点这个按钮。智能体写出了正确的逻辑，并显示了成功通知。
它从未检查调用者是否有权操作，是否该暂停等待人工审批，或者是否记录了日志。
这不是更聪明的模型能解决的 Bug，因为“绳子”压根就不在代码里。
身份、权限和审计存在于运行应用的系统中，而不是智能体生成的代码里。
为了解决这个问题，我把同样的代码包放到了 @retool 上托管。
之前在我电脑上悄无声息执行的积分发放操作，现在被拦截在了审批关卡前，通过 SSO 关联到了真实身份，并记录到了审计日志中。
这些我一行代码都没写。
应用在部署的那一刻就继承了整个安全边界，视频展示了前后的对比。
你可以在这里亲自尝试：https://retool.com/blog/retool-launches-react-ai-app-builder?utm_source=freeman_and_forrest&utm_medium=influencer&utm_campaign=r2_launch&utm_content=akshay_pachaar_x&rcid=701Ql000011zyUSIAY
我还在最近的文章里详细拆解了整个过程，并与团队合作完成了这些内容。
文章记录了构建过程、在我电脑上无人监管直接发放积分的瞬间，以及同样的 App 在 Retool 上运行后的变化。
它还涵盖了为什么这是运行环境的属性，而不是靠更好的模型就能修复的问题，这也是开发者通常会忽略的一点。
文章引用如下。
“我们必须给 AI 拴上绳子。我仍然是那个瓶颈。我得确保这玩意儿不会引入 Bug，也没有安全问题。”
这是他去年在 YC 演讲时说的，当时大家担心的还是可靠性。那时候模型会一本正经地胡说八道，犯一些人类绝不会犯的错，所以“拴绳子”意味着你要全程参与，在信任输出之前先检查一遍。
现在的模型强多了，但这句话依然适用，只不过原因是他当时没太关注的。
即便模型今天能写出完美的代码，它依然不知道谁有权运行它。
“正确性”和“权限控制”是两个不同的问题，随着模型进步，提升的只有正确性。
一个完美的智能体依然会交出一个谁都能操作任何功能的工具，因为“权限”从来就不是任务的一部分。
我用 Claude Code 实测了一下。
我让它写一个简单的内部工具，带一个发放账户积分的按钮。一次成功，在本地运行，点一下积分就秒到账。
但没有任何逻辑决定谁有权点这个按钮。智能体写出了正确的逻辑，并显示了成功通知。
它从未检查调用者是否有权操作，是否该暂停等待人工审批，或者是否记录了日志。
这不是更聪明的模型能解决的 Bug，因为“绳子”压根就不在代码里。
身份、权限和审计存在于运行应用的系统中，而不是智能体生成的代码里。
为了解决这个问题，我把同样的代码包放到了 @retool 上托管。
之前在我电脑上悄无声息执行的积分发放操作，现在被拦截在了审批关卡前，通过 SSO 关联到了真实身份，并记录到了审计日志中。
这些我一行代码都没写。
应用在部署的那一刻就继承了整个安全边界，视频展示了前后的对比。
你可以在这里亲自尝试：https://retool.com/blog/retool-launches-react-ai-app-builder?utm_source=freeman_and_forrest&utm_medium=influencer&utm_campaign=r2_launch&utm_content=akshay_pachaar_x&rcid=701Ql000011zyUSIAY
我还在最近的文章里详细拆解了整个过程，并与团队合作完成了这些内容。
文章记录了构建过程、在我电脑上无人监管直接发放积分的瞬间，以及同样的 App 在 Retool 上运行后的变化。
它还涵盖了为什么这是运行环境的属性，而不是靠更好的模型就能修复的问题，这也是开发者通常会忽略的一点。
文章引用如下。
Karpathy 说过一段话，如果你无视它，以后肯定会后悔：
“我们必须给 AI 拴上绳子。我仍然是那个瓶颈。我得确保这玩意儿不会引入 Bug，也没有安全问题。”
这是他去年在 YC 演讲时说的，当时大家担心的还是可靠性。那时候模型会一本正经胡说八道，犯一些人类绝不会犯的错，所以“拴绳子”意味着你要全程参与，在信任输出之前先检查一遍。
现在的模型强多了，但这句话依然适用，只不过原因是他当时没太关注的。
即便模型今天能写出完美的代码，它依然不知道谁有权运行它。
“正确性”和“权限控制”是两个不同的问题，随着模型进步，提升的只有正确性。
一个完美的智能体依然会交出一个谁都能操作任何功能的工具，因为“权限”从来就不是任务的一部分。
我用 Claude Code 实测了一下。
我让它写一个简单的内部工具，带一个发放账户积分的按钮。一次成功，在本地运行，点一下积分就秒到账。
但没有任何逻辑决定谁有权点这个按钮。智能体写出了正确的逻辑，并显示了成功通知。
它从未检查调用者是否有权操作，是否该暂停等待人工审批，或者是否记录了日志。
这不是更聪明的模型能解决的 Bug，因为“绳子”压根就不在代码里。
身份、权限和审计存在于运行应用的系统中，而不是智能体生成的代码里。
为了解决这个问题，我把同样的代码包放到了 @retool 上托管。
之前在我电脑上悄无声息执行的积分发放操作，现在被拦截在了审批关卡前，通过 SSO 关联到了真实身份，并记录到了审计日志中。
这些我一行代码都没写。
应用在部署的那一刻就继承了整个安全边界，视频展示了前后的对比。
你可以在这里亲自尝试：https://retool.com/blog/retool-launches-react-ai-app-builder?utm_source=freeman_and_forrest&utm_medium=influencer&utm_campaign=r2_launch&utm_content=akshay_pachaar_x&rcid=701Ql000011zyUSIAY
我还在最近的文章里详细拆解了整个过程，并与团队合作完成了这些内容。
文章记录了构建过程、在我电脑上无人监管直接发放积分的瞬间，以及同样的 App 在 Retool 上运行后的变化。
它还涵盖了为什么这是运行环境的属性，而不是靠更好的模型就能修复的问题，这也是开发者通常会忽略的一点。
文章引用如下。
Karpathy said something you'll regret ignoring:
"We have to keep the AI on the leash. I'm still the bottleneck. I have to make sure this thing isn't introducing bugs and that there's no security issues."
He said it at YC talk last year, when the worry was reliability. The models hallucinated and made mistakes no human would, so the leash implied keeping yourself in the loop and checking the output before trusting it.
The models are far better now, and the line still holds, for a reason he was not focused on back then.
Even a model that writes flawless code today still has no idea who is allowed to run it.
Correctness and authorization are different problems, and only correctness improves as the model improves.
A perfect agent still hands a tool where anyone can do anything, because permission was never part of the task.
I actually tested this in practice with Claude Code.
I asked it to build a small internal tool with a button that issues account credits. It worked first try, and running it locally, the credit applied the instant I clicked.
Nothing decided who was allowed to click it. The agent wrote the right logic and displayed a success notification.
It never checked whether the caller had the right, whether it should pause for a human, or whether anything was logged.
And this is not a bug a smarter model can outgrow because the leash was never in the code.
Identity, permissions, and audit live in the system that runs the app, not in what the agent generates.
To solve this, I took the exact same bundle and hosted it on @retool.
The credit write that fired silently on my laptop now stopped at an approval gate, resolved to a real identity through SSO, and landed in an audit log.
I wrote none of it.
The app inherited the entire boundary the moment it was deployed, and the video shows the before and after.
You can try it yourself here: https://retool.com/blog/retool-launches-react-ai-app-builder?utm_source=freeman_and_forrest&utm_medium=influencer&utm_campaign=r2_launch&utm_content=akshay_pachaar_x&rcid=701Ql000011zyUSIAY
I also wrote a detailed breakdown of the whole thing in my recent article, and I worked with the team to put this together.
It walks through the build, the exact moment the credit write went through on my laptop with nobody checking, and then what changed when the same app ran on Retool.
It also covers why this is a property of the runtime and not something a better model fixes, which is why devs typically miss this.
The article is quoted below.
"We have to keep the AI on the leash. I'm still the bottleneck. I have to make sure this thing isn't introducing bugs and that there's no security issues."
He said it at YC talk last year, when the worry was reliability. The models hallucinated and made mistakes no human would, so the leash implied keeping yourself in the loop and checking the output before trusting it.
The models are far better now, and the line still holds, for a reason he was not focused on back then.
Even a model that writes flawless code today still has no idea who is allowed to run it.
Correctness and authorization are different problems, and only correctness improves as the model improves.
A perfect agent still hands a tool where anyone can do anything, because permission was never part of the task.
I actually tested this in practice with Claude Code.
I asked it to build a small internal tool with a button that issues account credits. It worked first try, and running it locally, the credit applied the instant I clicked.
Nothing decided who was allowed to click it. The agent wrote the right logic and displayed a success notification.
It never checked whether the caller had the right, whether it should pause for a human, or whether anything was logged.
And this is not a bug a smarter model can outgrow because the leash was never in the code.
Identity, permissions, and audit live in the system that runs the app, not in what the agent generates.
To solve this, I took the exact same bundle and hosted it on @retool.
The credit write that fired silently on my laptop now stopped at an approval gate, resolved to a real identity through SSO, and landed in an audit log.
I wrote none of it.
The app inherited the entire boundary the moment it was deployed, and the video shows the before and after.
You can try it yourself here: https://retool.com/blog/retool-launches-react-ai-app-builder?utm_source=freeman_and_forrest&utm_medium=influencer&utm_campaign=r2_launch&utm_content=akshay_pachaar_x&rcid=701Ql000011zyUSIAY
I also wrote a detailed breakdown of the whole thing in my recent article, and I worked with the team to put this together.
It walks through the build, the exact moment the credit write went through on my laptop with nobody checking, and then what changed when the same app ran on Retool.
It also covers why this is a property of the runtime and not something a better model fixes, which is why devs typically miss this.
The article is quoted below.
12
12
110
27.2K
