实验室笔记本作为数据科学从业人员首选的武器

作者的图像

作为具有超过7年实验室经验的数据科学从业人员和物理学家,我发现一些老式的学术实践非常适合现代数据科学工作流程。

O这些实践中的NE是一个正确组织和结构化的实验室笔记本.

在本文中,我将分享我对使用它的个人看法。

我为什么要关心实验室笔记本?

实验室笔记本s have been around for a long time, as long as science itself exists. A实验室笔记本可以定义为研究人员的主要记录。它用于记录这些实验的假设,实验和初始分析或解释(请参见下图)。

简而言之,实验室笔记本只是一个笔记本,可以跟踪您的研究工作,思想,观察和活动。但是,有一些指导方针可能因一个组织而异,您可以检查麻省理工学院建议的.

作者的图像

Why would anyone be bothered with lab notebooks these days you might ask?

现在,在2022年,我们有大量的花哨通用解决方案用于定期采取,任务/项目管理和协作:JIRA,Confluence,Slack和Virtual Whiteboards(Miro),仅举几例。

As data scientists, we have a whole set of digital tools of our own to perform and track experiments (Comet, MLflow, Neptune, SageMaker Studio, etc.).

这些广泛使用的解决方案中的大多数非常适合在日常数据科学工作流程中解决特定问题,并且每个问题都提供了一套独特的功能。合并后,这些工具似乎涵盖了我所有的商业数据科学需求。但只乍一看。

有了所有这些工具,我依靠的第一工具(实际上在过去12年的大部分时间里)是我的实验室笔记本.

This requires a bit of explanation.

在进行激光物理研究时,我如何使用实验室笔记本

I’ve been practicing applied laser physics for 7 years, and my lab notebook has always been the backbone of the whole multi-dimensional research and work process in general.

早晨的第一件事我曾经喝咖啡,并阅读了我的唱片的最后几周。对我来说,一个典型的单一研究日需要2到4页的空白纸,里面装满了图像和文字(如下图中)。

pp. 98–99 of one of my lab notebooks

在处理特定问题时,我通常有多种类型的活动:设计实验,进行测量,进行探索性数据分析,运行数值模拟,写作科学文章等。

Each activity had been planned and tracked in a very specific way that served me in the best possible way long term.

I would categorize my notes into 5 buckets:

  1. A brief plan for the day (to-do list, key meetings/presentations/experiments to do)
  2. 实验计划和跟踪(主要是高级,但在需要时进行详细详细说明)
  3. 实验数据分析和解释
  4. 关键问题,见解和想法
  5. 回顾

Five types of notes is actually a lot, but it is the bare minimum of what was necessary for me because as an applied physics practitioner you unavoidably have to wear a lot of hats, and most of your activities are far from being trivial and easy to explain.

my lab notebook

A lot of these activities immediately put you under some kinds of pressure and stress: operating with unfamiliar tools, struggling to explain phenomena, uncertainty with the next action steps, etc.

为我处理这种压力的一种方法是在笔记本中仔细地列出信息和结果,将问题弄清楚,将问题分解为可行的步骤,然后开始逐步浏览步骤。

在实验室笔记本中,我一直在尝试保持简洁,但请确保我的写作/绘画的质量已经到位。我的意思是,质量不是在整齐地写作和选择精美图片的感觉上,而是要确保我花时间和精力来思考每一行。

And don’t get me wrong, I’ve spent a good half of the day writing software (in both Python and Wolfram Mathematica), processing gigabytes of data, visualizing data, and writing articles — all these using dozens of digital tools.

But my lab notebook has always been above everything else — supervising each activity, guiding me through research life, and allowing me to push through uncertainty.

Side note on analog vs digital: I’ve usedanalognotebooks because I used to draw schemas and charts, wrote freely and then draw on top of it, etc. At the time there was no way to do it digitally without losing the versatility. Nowadays a lot more paperless options are available, but it is not what this article is about.

在我看来,实验室笔记本是框架for highly structured technical-note taking combined with journaling practices. Digital versus analog — does not matter really.

随着时间的流逝,我意识到我的实验室笔记本一方面成为了技术知识基础,另一方面是个人研究日记。

我一直从使用实验室笔记本电脑中获得的好处是如此强大,以至于即使离开激光物理学后,我仍然坚持这种习惯。

How it All Translated Into My Daily Data Science Practice

自从我离开学院以来,实验室笔记本在我的工作生活中的角色已经发展,但这仍然是我的工具腰带中的重要作用。

My notebook has evolved

如今,作为数据科学从业人员和小组经理,我会用数据来实现业务目标 - 我计划,执行探索性数据分析,管理项目,管理团队,与产品所有者和利益相关者会面并开发数据产品。

It is exciting as it is, but I’ve managed to adapt to the intense workload and stay productive using my old school academic practices tweaked slightly.

我仍然以专门结构化的实验室笔记本方式保留我的日常记录。当然,我不再插入激光束的形状,也不会记录激光物理实验,但是我确实使用更新的类别集写下想法,想法和观察结果(请参见下文)。

Categories I use for tracking my data science work

同样,借助我所有的数字工具,实验室笔记本成为知识库,日记和素描本,它位于其他每个工具之上,并引导我完成工作。

以这种方式保留记录的原因以及我遵循的具体准则,我试图作为一组规则/原则制定:

原因1:跟踪您的想法 - cr脚和辉煌

数据科学家对我个人的角色是创造性的。尤其是在产品开发领域 - 我认为,这全都与新的想法和创造性的问题有关。

I’ve always used a lab notebook to do my brainstorming. And not the kind of brainstorming where you just produce absurd stuff in volume, but deep and continuous creative thinking on what can actually work.

因此,原因1:保持和培养您的想法。写下东西。写下问题,想法和想法。我们的人类大脑不擅长长期保持思想。

想法非常脆弱,从何时拥有和有多少人的想法就无法预测的想法。©Jonathan Ive

保持仔细的想法记录可以重申,重新评估并以非常深入的方式思考。

实验室笔记本allows me to carefully grow ideas from the very early stages (most fragile) to flourishing implementation without getting sidetracked.

作者的图像

How:我正在使用灯泡图标来录制听起来很有趣的想法。有时,我花了几天时间重申一个想法,重新构建,添加详细信息,在这种情况下,我使用原始记录引用(页码)将最新迭代链接到上一篇。

原因2:跟踪周围发生的事情

正如史蒂文·S·斯基纳(Steven S.Skiena)在他的数据科学设计手册:

但是,数据科学的核心在于正确地做简单的事情:了解应用程序域,清洁和集成相关的数据源,并清楚地向他人展示您的结果

有了我的所有经验,我无法充分强调良好的沟通能力,尤其是在与领域专家打交道时。

在我看来,不仅要仔细倾听很重要,而且对业务方面发生的事情的总体警惕和关注。

Especially when you manage projects, negotiate with stakeholders, and generate product ideas — it is your duty to observe your surrounding and distill each bit of information into key observations.

How:the way I do it is pretty simple: whenever I participate in a conversation, I’m going into a focus mode and listen thoroughly, ask for clarification if needed and then reformulate the key observation/insight into several sentences in the lab notebook.

During the preparation for the meeting I create key points that I plan to cover, and then insert the feedback on each of these points:

作者的图像

The downside — you have to listen actively and pay attention, which is difficult, but the upside is much bigger — over time it creates an impression that not only do you care about other’s opinions, but also that nothing will slip out of your attention (and that is a good thing).

当然,您可以无需笔记本即可做到这一点,但是用笔在您的手中进行会面,专心聆听,并将输入信息消化为关键观察,为这些活动设置了一个可靠的协议。

如果我没有积极倾听的能力,我宁愿重新安排会议,也不仅仅是为了在那里而举行会议。

原因3:一个完美的基石习惯

对我来说,跟踪我在实验室笔记本中的工作变得有效keystone habit.

Keystone习惯是某人操作的常规和实践。它们标志着您所做的事情的基本水平,而无需意志力或说服力。默认值。无论是积极的还是负面的,这些习惯中的每一个都在您在生活和业务中所做的一切中都具有连锁反应。((Forbes article)

不管您正在处理的问题复杂性如何,无论其他所有情况和混乱,都可以通过重新阅读进度和思想来开始工作的习惯,为一天的基调定下了基调。对我来说,运行实验室笔记本电脑创造了一个势头,我可以用来构建并向前移动东西。

How:只需通过阅读最后3-4天的咖啡记录,开始您的工作日。时间戳当天,制定了当天的高级计划,开始考虑执行细节,然后从那里开始,至少对我有用。

原因4:跟踪您的个人进步和成长

不要将自己与其他人进行比较 - 将自己与过去的自我进行比较,是的,我们已经听说过多次,但是说起来容易做起来难。

拥有适当的实验室笔记本,这也是个人工作期刊, your own progress will be obvious to yourself, and you should not underestimate the power of this trick (is it even a trick?).

仅通过阅读页面,您就会看到技能,问题理解和解决问题的增长。

这很重要,尤其是当您作为一名研究人员经历艰难时期:实验室笔记本将始终证明您离起点确实很远。

How:对我有用的是每3个月写下一个目标清单。3个月后,我拿了一两页的实验室笔记本来进行回顾:我引用目标设定页面并进行WART的情况顺利进行,而没有什么。

原因5:战略性

实验室笔记本pushes you to be strategic — it just forces you to think productively and take action, because otherwise you’ll lose your momentum.

该策略本身是一个棘手的定义,但我喜欢这个定义罗杰·马丁:

策略是一组综合的选择,可以以您赢得的方式将您定位在您选择的竞争环境中。通常,如果您只是在不留下时间戳记录和想法的情况下工作,时间就过去了,大脑可以轻松替代您的记忆,扭曲真实的事件序列,并将所有内容融入更方便,更容易解释的,但视野错误。

但是,使用实验室笔记本,您不允许这样做。

首先,由于笔记本是永久绑定的,因此您不能仅仅将页面撕开并插入新页面(您的大脑很容易与记忆一起使用)。

其次,如果您在大量时间内对研究和工作做出了不良的选择,并记录了这一点,那么对结果的有害影响就会变得如此明显,以至于令人惊叹。

So, naturally, notebook just forces you to think long-term and be strategic.

How:遵循协议 - 每3个月设定目标并执行回顾 - 全部在同一笔记本中。在这90天之间,您的日常工作将定义您是成功还是失败。

Reason 6: Irrational and Dramatic

Well, that is really controversial and subjective, but I find having a proper notebook a bit dramatic.

当前和过去的伟大科学家不仅有实验室笔记本,而且还有探险家。好吧,在这一点上,您可能会说,船长有nautical logbooks,北极研究人员有日记(我建议您通过罗伯特·猎鹰·斯科特(Robert Falcon Scott)的日记),但是我将这些不同类型的笔记本分组为一个家庭。

When writing into a lab notebook, I think about these brave men and women of the past and present that risked their lives to get to unknown places.

是的,我们大多数人都在极为安全的环境中工作,但是在保持您的研究的详细记录记录方面,有些不可思议的事情。

我对自己说的是,是的,我不是北极或宇航员上的第一个人,但我也去了未知的地方,看着篱笆。

我确实喜欢成为自己探险队长的感觉。

How:我在这里无法提供任何具体建议,而不是找到可以很好地激发您启发您并设定正确基调的东西。

结论

总而言之:对我而言,实验室笔记本是一本技术日志和日记,同时是一种工具,该工具比其他所有内容都要出现。实验室笔记本设置规则和协议,以跟踪想法,运行会议,解决问题以及日常工作。

我认为,拥有适当的实验室笔记本对于在商业数据科学领域进行任何长期项目至关重要:它只是有助于成为更好的听众,更深入地思考,战略性地计划并产生真正的影响。

As a bonus, you get a beautiful diary that tells a unique story of solving problems, a story of grinding and growing.

This is it, thanks for reading, curious to hear your thoughts.

获取中型应用betway娱乐官网

一个说“在应用商店上下载”的按钮,如果单击,它将带您到iOS App Store
一个说“获取它,Google Play”的按钮,如果单击它,它将带您到Google Play商店
Kirill Lepchenkov

Data science practitioner, former researcher in solid state laser engineering field

Baidu